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当前 ， 我 国正 处 在 快速 进入 信息 化 社会 的 过 程 中 。 信 息 化 社会 的 重要 特点 ， 就 是 信息 
技术 应 用 渗透 到 社会 和 人 们 生活 的 各 个 方面 ， 社 会 的 运转 依赖 于 各 个 信息 化 系统 以 及 由 各 
个 系统 共同 组 成 的 信息 化 平台 。 而 支持 这 一 系统 运转 和 提供 各 种 应 用 功能 的 灵魂 ， 就 是 人 
们 通称 的 软件 。 近 年 来 ， 国 际 上 软件 产业 飞速 发 展 ， 我 国 的 软件 产业 在 各 级 主管 部 门 的 高 
度 重视 和 大 力 支 持 下， 特别 是 2000 年 国务 院 发 布 了 18 号 文件 以 来 ， 迎 来 了 产业 发 展 的 最 
好 时 机 。 

软件 产业 的 地 位 十 分 重要 ， 在 各 种 应 用 系统 中 处 于 关键 位 置 。 但 就 其 自身 发 展 和 客观 
要 求 而 言 ， 软 件 功能 愈 来 愈 强 ， 规 模 愈 来 愈 大 ， 内 部 结构 也 愈 来 愈 复杂 ;同时 软件 的 来 源 
渠道 也 愈 来 愈 多 ,例如 市 场 购 进 ，Internet 网 上 下 载 等 。 这 样 ， 就 直接 或 间接 地 导致 了 一 个 
负面 效果 : 软件 的 质量 难以 保证 。 软 件 的 质量 问题 是 当前 软件 产业 的 一 大 难题 ， 也 是 软件 
工程 界 研究 的 重点 问题 之 一 。 

为 了 保证 软件 质量 , 软件 科学 家 们 一 直 在 进行 研究 , 也 研究 出 了 一 些 重要 理论 和 方法 ， 
软件 测试 就 是 保证 软件 质量 的 重要 措施 之 一 。 软 件 测试 内 容 获 盖 范 围 广 ， 一 般 认为 ， 软 件 
测试 应 包含 以 下 4 方面 内 容 : 

1. 软件 测试 的 基础 理论 和 基本 技术 ; 

2. 软件 测试 的 标准 和 规范 ; 

3， 软件 测试 的 环境 和 工具 ; 

4. 软件 测试 的 管理 。 

自 18 号 文件 发 布 后 ,为 了 适应 软件 产业 发 展 的 需要 ， 软 件 测试 行业 正在 兴起 ， 出 现 了 
一 批 第 三 方 的 软件 测试 机 构 。 众 多 新 成 立 的 软件 测试 机 构 ， 水 平 参差 不 齐 ， 对 标准 的 理解 
和 采用 的 测试 方法 相差 其 远 ， 为 了 正确 引导 、 规 范 测试 行为 ， 保 证 测试 结果 的 正确 性 、 权 
威 性 ， 由 信息 产业 部 电子 工业 标准 化 研究 所 组 织 编写 了 本 书 。 

本 书 共 分 9 章 。 就 其 技术 内 容 而 言 ， 可 以 分 为 四 大 部 分 。 第 一 部 分 包括 : 第 1、 第 2、 
第 3、 第 4、 第 5、 第 7 章 ， 介 绍 测试 的 理论 和 技术 。 其 中 第 1、 第 2 章 介绍 软件 测试 的 基 
本 概念 、 发 展 状况 和 基本 技术 ; 第 3 章 介绍 软件 在 开发 过 程 中 用 到 的 测试 方法 和 技术 ; 第 
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4 章 介绍 软件 产品 的 测试 方法 和 技术 ; 第 5 章 介绍 软件 可 靠 性 测试 的 方法 和 技术 ;第 7 章 
介绍 软件 的 互 操作 性 测试 的 概念 、 方 法 和 技术 。 第 二 部 分 包括 第 6 章 ， 介 绍 有 关 软件 的 国 
家 标准 及 标准 的 符合 性 测试 的 基本 技术 和 方法 。 第 三 部 分 包括 第 8 章 , 介绍 软件 测试 工具 。 
第 四 部 分 包括 第 9 章 ， 介 绍 软件 测试 管理 。 

本 书 第 1、 第 2 章 由 上 海 计 算 机 软件 中 心 朱 三 元 研究 员 编写 ; 第 3 章 由 北京 工程 设计 
研究 总 院 李 洁 研究 员 编 写 ; 第 4 章 由 北京 软件 评测 中 心 许 聚 常 高 级 工程 师 编写 ; 第 5、 第 7 
章 由 北京 大 学 孟 庆 余 教 授 编写 : 第 6 章 由 信息 产业 部 标准 化 研究 所 王 欣 工程 师 和 陈 壮 高 级 
工程 师 编写 ; 第 8、 第 9 章 由 航天 软件 评测 中 心 叶 东升 研究 员 编 写 。 

本 书 内 容 丰 富 ， 深 入 浅 出 ， 适 应 面 广 ， 可 用 作 培 养 专门 软件 测试 人 员 的 教材 ， 又 适合 
作为 高 等 院 校 软件 工程 专业 人 士 的 参考 书 ， 既 适应 于 技术 人 员 阅 读 ， 又 适合 软件 工程 和 软 
件 测试 的 有 关 管 理 人 员 和 领导 干部 参考 。 

由 于 软件 和 软件 测试 在 技术 上 发 展 很 快 ， 且 本 书 履 盖 面 有 限 ， 难 免 存 在 不 足 之 处 ， 敬 
请 读者 批评 、 指 正 。 
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第 1 章 软件 测试 引 论 


1.1 质量 和 质量 认识 论 


质量 的 重要 性 是 显而易见 的 ， 客 户 不 可 能 去 购买 一 个 存在 质量 问题 的 产品 ， 生 产 厂商 
如 果 生 产 出 存在 质量 问题 的 产品 就 不 可 能 卖 出 去 。 因 此 ， 有 不 少 人 说 质量 是 决定 产品 存在 
的 价值 ， 质 量 是 企业 的 生命 。 那 么 ， 什 么 叫 质量 呢 ? 

质量 这 一 概念 有 许多 不 同 的 定义 ， 不 同 的 立场 ， 不 同 的 观念 ， 对 质量 的 定义 就 会 不 同 。 
抛 开 这 些 因素 , 举例 说 明 。《 辞 海 》 和 《辞源 》 中 ,把 质量 解释 为 “产品 或 工作 的 优 劣 程度 ”。 
世界 著名 质量 管理 专家 Juran 博士 ， 在 他 的 经 典 著作 《质量 控制 手册 》 中 ， 把 质量 定义 为 
“产品 在 使 用 时 能 成 功 地 适合 用 户 目的 的 程度 ”。 再 如 ， 国 际 标准 化 组 织 〈ISO) 把 质量 定 
义 为 :“ 反 映 实体 〈 可 单独 描述 和 研究 的 事物 ， 如 活动 、 过 程 、 产 品 、 组 织 、 体 系 或 人 ， 以 
及 它们 各 项 的 任何 组 合 ) 满足 明确 和 隐 含 需要 能 力 的 特性 总 和 ”。 那么 ， 人们 是 如 何 认识 质 
量 的 呢 ? 

狭义 的 质量 概念 就 是 产品 质量 。 所 谓 产品 质量 好 ， 往 往 被 人 们 认为 生产 出 最 佳 产品 
即 在 尽 可 能 充分 利用 现代 生产 技术 水 平 的 条 件 下 ， 制 造 出 最 好 的 产品 。 而 且 ， 所 谓 “ 好 ”， 
常常 仅 从 产品 性 能 着 眼 。 这 种 概念 不 能 反映 质量 的 全 部 内 容 。 

广义 的 质量 概念 包括 产品 质量 和 工作 质量 两 个 组 成 部 分 ， 即 全 面 质量 。 它 既 要 反映 客 
观 的 要 求 ， 又 要 考虑 到 设计 、 制 造 、 销 售 服务 的 水 平和 能 力 。 

在 这 里 ， 需 要 对 产品 作 一 解释 ， 产 品 可 分 为 4 种 类 别 ， 即 硬件 、 流 程 性 材料 、 软 件 和 
服务 。 硬 件 是 不 连续 的 具有 特定 形状 的 产品 ， 如 空调 、 洗 衣 机 、 电 视 机 等 ;流程 性 材料 是 
将 原料 转化 为 某 一 预定 状态 的 有 形 产 品 ， 如 流体 、 气 体 、 粒 状 、 块 状 、 线 状 或 板 状 ， 其 典 
型 的 交付 方式 有 桶 装 、 袋 装 、 缸 装 、 瓶 装 或 通过 管道 ， 软 件 是 通过 支持 媒体 表达 的 信息 所 
构成 的 一 种 智力 创作 ， 软 件 的 形式 如 概念 、 信 息 、 程 序 、 规 划 、 记 录 、 计 算 机 程序 等 ， 可 
见 此 处 的 软件 是 泛 指 ， 不 单 指 计算 机 软件 ， 服 务 是 为 满足 客户 的 需要 ， 供 方 和 顾客 之 间 在 
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接触 时 的 活动 ， 以 及 供 方 内 部 活动 所 产生 的 结果 。 因 此 ， 产 品 的 提供 和 使 用 可 构成 服务 提 
供 的 一 部 分 。 服 务 可 以 与 产品 的 制造 和 提供 相关 联 。 当 然 ， 服 务 亦 需 投入 资源 和 活动 ， 也 
是 一 种 价值 的 增值 。 

影响 质量 的 因素 是 什么 ?其 包括 5 大 因素 : 人 人、 材料、 设备 、 方 法 和 环境 。 显 而 易 见 
人 的 因素 第 一 ， 有 了 人 的 主动 性 、 对 质量 的 深刻 认识 ， 就 会 非常 重视 质量 的 各 个 环节 ; 材 
料 也 非常 重要 ， 半 导体 的 收音 机 和 集成 电路 的 收音 机 取材 不 同 ， 质 量 也 就 有 天 壤 之 别 ;， 设 
备 的 先进 程度 和 工作 状态 的 好 坏 也 能 够 深刻 影响 产品 质量 ;方法 包含 内 容 更 广泛 ， 它 可 以 
是 生产 方法 、 设 计 方 法 、 管 理 方法 、 检 验方 法 ， 这 就 是 技术 因素 ， 环 境 也 非常 重要 ， 集 成 
电路 的 生产 就 与 环境 密切 相关 ， 如 尘埃 就 能 决定 集成 电路 块 是 否 报废 。 

任何 一 个 机 构 ， 都 必须 确定 质量 目标 ， 质 量 目标 就 是 产品 和 工程 质量 在 一 定时 间 内 可 
达到 的 水 平 ， 产 品 和 工程 质量 目标 的 制订 需 做 3 个 方面 的 调查 。 

(1) 用 户 对 开发 新 产品 或 改进 老 产品 的 意见 和 要 求 , 包括 产品 性 能 、 可 靠 性 、 安 全 性 、 
价格 、 使 用 维修 、 外 观 包 装 和 运输 储存 等 。 

(2) 生产 过 程 中 老 产 品 曾经 出 现 过 的 问题 及 新 产品 开发 中 可 能 发 生 的 问题 。 

(3) 国内 外 有 关 的 技术 与 经 济 情况 。 

制定 质量 目标 还 需 考 虑 成 本 的 增加 。 任 何 一 个 产品 或 者 工程 项 目 ， 其 价格 是 由 销售 成 
本 所 决定 的 ， 销 售 成 本 包括 生产 成 本 、 质 量 成 本 和 利润 。 就 质量 成 本 而 言 ， 包 括 损失 成 本 、 
检验 成 本 和 预防 成 本 。 损 失 成 本 是 因 产 品 未 能 达到 质量 要 求 而 造成 的 各 项 损失 费用 ， 一 般 
包括 内 部 损失 《〈 如 报废 、 返 修 、 降 级 等 ) 和 外 部 损失 〈 如 拒 收 、 索 赔 、 声 誉 破坏 等 ); 检验 
成 本 是 用 于 检验 产品 质量 所 需 的 各 项 费用 ; 预防 成 本 是 用 于 预防 产生 不 良 产 品 所 需 的 各 项 
费用 ， 如 员工 培训 、 质 量 管理 开销 、 检 测 设备 购置 等 。 

现在 人 们 不 仅 从 技术 层面 上 去 思考 产品 质量 ， 也 从 质量 管理 的 角度 去 思考 产品 的 质量 
保证 ，ISO 9000、CMM 等 都 可 以 看 作 质 量 管理 所 引发 的 对 机 构 在 质量 保证 方面 的 考核 。 所 
谓 质 量 管理 就 是 为 保证 和 提高 产品 或 工程 质量 所 进行 的 调查 、 计 划 、 组 织 、 协 调 、 控 制 、 
检查 、 处 理 及 信息 反馈 等 各 项 活动 的 总 和 。 按 照 国际 标准 化 组 织 的 定义 ， 则 包括 确定 质量 
方针 、 目 标 和 职责 ， 并 在 质量 体系 中 通过 例如 质量 策划 、 质 量 控制 、 质 量 保证 和 质量 改进 
使 其 实施 全 部 管理 职能 的 所 有 活动 。 质 量 体 系 是 为 实施 质量 管理 所 需 的 组 织 结构 、 程 序 、 
过 程 和 资源 ， 质 量 策划 是 确定 质量 以 及 采用 质量 体系 要 素 的 目标 和 要 求 的 活动 ， 包 括 产 品 
策划 、 管 理 和 作业 策划 ， 以 及 质量 计划 的 编制 和 质量 改进 的 准备 工作 ;质量 控制 是 为 达到 
质量 要 求 所 采取 的 作业 技术 和 活动 ， 质量 保证 是 为 了 提供 足够 的 信任 表明 实体 能 满足 质量 
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要 求 ， 而 在 质量 体系 中 实施 并 根据 需要 进行 证 实 的 全 部 有 计划 有 系统 的 活动 ; 质量 改进 是 
为 向 本 机 构 及 其 顾客 提供 更 多 的 收益 ， 在 整个 机 构 内 所 采取 的 旨 在 提高 活动 和 过 程 的 效益 
和 效率 的 各 种 措施 。 有 关 这 些 概念 的 认识 , 读者 可 以 参考 清华 大 学 出 版 社 于 1999 年 出 版 的 
《软件 企业 ISO 9000 质量 体系 的 建立 和 认证 》 一 书 。 


1.2 软件 产品 和 其 他 产品 的 差异 


1.1 节 中 所 讲 的 产品 包括 4 种 类 别 ， 其 中 的 软件 还 不 是 单 指 计算 机 软件 ， 其 范围 亦 大 得 
多 。 自 从 1968 年 提出 软件 工程 这 一 概念 以 来 ， 就 希望 能 够 借助 传统 的 工程 方法 来 研发 出 软 
件 产品 。 因 此 ， 软 件 产品 在 某 些 方面 的 确 相似 于 其 他 工程 中 的 有 形 产 品 ， 但 毕竟 不 相同 ， 它 
们 之 间 存 在 一 些 重要 的 差别 。 所 以 ， 在 软件 工程 中 ， 人 们 认识 到 不 能 够 简单 地 把 一 般 工程 中 
的 知识 、 方 法 和 技术 直接 应 用 到 软件 工程 上 来 。 那 么 软件 产品 和 其 他 产品 有 什么 不 同 呢 ? 

(1) 软件 是 逻辑 产品 而 不 是 实物 产品 。 可 以 粗略 地 说 软件 不 是 有 形 产 品 ， 磁 盘 、 集 成 
电路 块 只 是 软件 的 载体 。 这 一 事实 就 意味 着 费用 集中 在 研制 开发 上 而 不 在 生产 上 。 当 然 ， 
由 于 是 逻辑 产品 ， 软 件 就 不 会 用 坏 、 磨 损 、 老 化 ， 而 且 可 以 不 断 地 改进 、 优 化 ， 其 可 靠 性 
由 逻辑 确定 。 开 发 软件 在 许多 方面 更 像 进行 数学 证 明 ， 可 是 软件 产品 的 评价 却 主要 决定 于 
它们 在 问题 求解 中 是 否 有 用 ， 而 不 是 决定 于 抽象 的 正确 性 判定 标准 。 换 句 话说， 开发 软件 
产品 时 主要 使 用 的 是 工程 标准 ， 而 不 是 数学 标准 。 

(2) 由 于 软件 是 逻辑 产品 ,使 得 它 的 功能 只 能 依赖 于 硬件 和 软件 的 运行 环境 ， 以 及 人 
们 对 它 的 操作 ， 才 能 得 以 体现 。 没 有 计算 机 相关 硬件 的 支持 ， 软 件 难 有 实用 价值 。 同 样 ， 
没有 软件 支持 的 计算 机 硬件 ， 也 只 是 毫 无 使 用 价值 的 机 器 。 软 件 与 硬件 的 密切 相关 的 程度 
是 一 般 工程 所 没有 的 。 
(3) 对 软件 产品 的 要 求 比 一 般 有 形 产品 要 复杂 。 其 一 ， 软 件 产品 要 完成 的 多 种 多 样 功 
能 ， 用 户 难以 清晰 、 准 确 地 表达 。 赁 此 一 项 ， 软 件 系统 的 复杂 性 可 以 比 得 上 历史 上 任何 一 
个 工程 项 目 : 即使 保守 估计 ， 一 个 100 万 条 汇编 语句 的 软件 ， 至 少 有 1 万 个 分 功能 ， 其 中 
每 一 个 分 功能 至 少 可 以 用 两 种 不 同方 式 制定 。 所 以 ,在 功能 上 ， 软件 设 计 者 也 得 要 从 2” 
(相当 于 10”) 种 功能 组 合 中 进行 挑选 。 其 二 ,对 软件 产品 的 要 求 , 如 可 靠 性 、 易 移植 性 、 
易 使 用 性 等 是 隐 含 的 ， 也 是 难以 表达 的 ， 而 且 也 缺少 度量 的 具体 标准 ， 和 有 形 产品 的 质量 
检验 的 精度 相距 其 远 。 其 三 ， 软 件 设计 不 仅 涉及 到 技术 复杂 性 ， 也 涉及 到 管理 复杂 性 。 
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国 Hetgel 曾 讲 过 ， 当 他 负责 一 个 软件 研制 小 组 时 ， 认 为 关键 的 问题 是 方法 学 问题 ， 当 他 
责 50 人 的 软件 开发 项 目 组 时 ， 逐 渐 理解 到 除 方法 学 之 外 ， 程 序 文档 变 得 越 来 越 重要 了 
来 他 又 领导 200 人 的 软件 开发 项 目 组 时 ， 他 的 认识 又 有 了 变化 ， 认 识 到 最 关键 的 问题 是 
理 问 题 。 这 是 很 有 代表 性 的 认 知 过 程 。 即 使 在 今天 软件 工程 已 有 很 大 进展 的 情况 下 ， 许 
多 人 都 不 愿意 去 领导 一 个 庞大 的 项 目 组 。 能 像 其 他 工程 项 目 那 样 进行 规模 化 生产 并 非 易 事 。 

(4) 在 软件 设计 时 发 生 的 复杂 性 , 引起 的 软件 特征 包括 4 方面 。 其 一 , 功能 的 多 样 性 。 
软件 提供 的 功能 比 一 般 工 程 产品 提供 的 功能 更 加 多 种 多 样 ， 以 臻 用 户 一 时 难以 掌握 。 为 此 ， 
使 用 软件 产品 ， 往 往 还 会 伴随 一 个 培训 任务 ， 而 且 软 件 产品 的 用 户 手册 还 不 一 定 能 全 面 描 
述 其 功能 。 其 二 ， 实 现 的 多 样 性 。 对 软件 产品 的 要 求 不 仅仅 包括 功能 和 性 能 要 求 ， 还 必须 
包括 在 符合 功能 和 性 能 要 求 的 各 种 实现 中 作出 选择 ， 更 有 实现 算法 上 的 优化 带 来 的 不 同 ， 
所 以 实现 上 的 差异 会 带 来 使 用 上 的 差异 。 其 三 ， 能 见 度 低 。 要 看 到 软件 进度 比 看 到 有 形 产 
品 的 进度 难得 多 ， 这 里 涉及 到 如 何 使 用 文档 (document) 表示 的 概念 能 见 度 ， 这 又 为 软件 
管理 复杂 性 增加 难度 。 其 四 ， 软 件 结构 的 合理 性 差 。 结 构 不 合理 使 软件 管理 复杂 性 随 着 软 
件 规模 增 大 而 呈 指 数 增长 ， 换 句 话 说 ， 软 件 规模 的 增长 所 引起 的 管理 复杂 性 成 了 设计 的 难 
题 。 总 之 ， 前 两 方面 属于 技术 复杂 性 。 后 两 方面 属于 管理 复杂 性 。 为 了 控制 软件 复杂 性 ， 
人 们 进行 了 各 种 研究 ， 这 在 一 般 工程 中 是 前 所 未 有 的 。 

(5) 任何 一 种 工程 ， 在 其 年 轻 时 代 总 是 人 工 密集 的 ， 而 到 其 成 熟 时 期 却 成 为 资金 密集 
的 。 但 是 软件 工程 却 也 有 它 自 己 的 特点 ， 尽 管 今后 可 能 有 许多 活动 可 以 自动 化 ， 而 软件 的 
资金 密集 程度 终究 会 比 其 他 工程 学 科 中 的 资金 密集 程度 高 ， 其 中 包含 更 多 的 人 的 成 分 ， 可 
以 说 软件 工程 是 智力 密集 型 。 从 而 ， 它 的 知识 产权 保护 就 显得 极为 重要 ， 软 件 本 身 会 越 来 
越 值钱 ， 逐 步 体 现 出 它 应 有 的 价值 。 


融 迅 冰 站 


1.3 软件 质量 


1.2 节 讨论 了 软件 产品 与 其 他 产品 的 差异 , 那么 软件 产品 质量 与 其 他 产品 的 质量 有 没有 
区 别 呢 ? 先 来 看 软件 质量 的 定义 : 反映 软件 系统 或 软件 产品 满足 明确 或 隐 含 需求 的 能 力 有 
关 的 特性 总 和 。 其 含义 有 四 : 其 一 ， 能 满足 给 定 需要 的 性 质 和 特性 的 全 体 ; 其 二 ， 具 有 所 
期 望 的 各 种 属性 的 组 合 程度 ;其 三 ， 顾 客 和 用 户 觉得 能 满足 其 综合 期 望 的 程度 ， 其 四 ， 确 
定 软件 在 使 用 中 将 满足 顾客 预期 要 求 的 程度 。 简 言 之 ， 软 件 质量 是 软件 一 些 特性 的 组 合 ， 
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它 依赖 软件 的 本 身 。 

对 于 软件 质量 有 多 种 不 同 的 视 面 。 用 户主 要 感 兴趣 的 是 如 何 使 用 软件 、 软 件 性 能 和 使 
用 软件 的 效用 ， 特 别 是 在 指定 的 使 用 环境 (context) 下 获得 与 有 效 性 、 生 产 率 、 安 全 性 和 
满意 度 有 关 的 规定 目标 的 能 力 ， 即 使 用 质量 。 开 发 者 负责 生产 出 满足 质量 要 求 的 软件 ， 所 
以 他 们 对 中 间 制 品 和 最 终 产 品 的 质量 都 感 兴 趣 ， 当 然 开发 者 视 面 也 要 体现 软件 维护 者 所 需 
要 的 质量 特性 。 对 于 管理 者 也 许 更 注重 总 的 质量 而 不 是 某 一 特性 ， 必 须 从 管理 准则 ， 如 在 
进度 拖延 或 成 本 超支 与 质量 提高 之 间 进 行 权衡 ， 以 达到 用 有 限 的 人 力 、 成 本 和 时 间 使 软件 
质量 达到 优化 的 目的 。 

保证 软件 质量 基本 上 可 用 两 种 途径 来 实现 ， 一 种 是 保证 生存 周期 过 程 ， 另 一 种 是 评价 
软件 最 终 产品 的 质量 。 这 两 种 途径 都 很 重要 ， 且 都 要 求 有 一 系统 来 管理 质量 ， 该 系统 应 确 
定 管理 对 质量 的 保证 ， 指 明 其 策略 以 及 恰当 的 详细 执行 步骤 。 前 者 是 采用 ISO 9001 质量 体 
系 一 设计、 开发 、 生 产 、 安 装 和 服务 的 质量 保证 模式 ， 或 者 CMM 一 一 能 力 成 熟 度 模 型 ， 
或 者 ISO 15504 软件 过 程 评估 (也 称 为 SPICE， 即 软件 过 程 改进 和 能 力 确定 ) 等 方法 来 取 
得 满足 质量 要 求 的 软件 。 后 者 是 把 软件 产品 评价 看 作 软 件 生存 周期 的 一 个 过 程 ， 目 标 就 是 
让 软件 产品 在 指定 的 使 用 环境 下 具有 所 需 的 效用 ， 可 以 通过 测量 内 部 属性 ， 也 可 以 通过 测 
量 外 部 属性 ， 或 者 通过 测量 使 用 质量 属性 来 评价 。 

软件 质量 管理 ”经济 地 实现 符合 用 户 要 求 的 软件 质量 或 服务 的 方法 体系 及 其 一 系列 活 
动 ， 具 体 包括 确定 质量 方针 和 目标 、 确 定岗 位 职责 和 权限 、 建 立 质量 体系 (如 质量 策划 、 
质量 控制 、 质 量 保证 和 质量 改进 ) 并 使 之 有 效 运行 等 所 有 活动 。 任 何 一 个 机 构 ， 要 想 使 自 
己 提 供给 用 户 的 产品 达到 并 保持 一 定 的 质量 水 平 ， 都 必须 进行 严格 的 质量 管理 。 对 于 一 个 
软件 机 构 来 说 ， 也 必须 建立 质量 管理 体系 。 目 前 能 被 大 家 接受 和 公认 的 是 基于 软件 生存 周 
期 过 程 的 质量 管理 ， 包 括 ISO 9001、CMM、1ISO 15504 等 都 是 属于 这 种 类 型 ， 如 能 力 成 熟 
度 模型 (CMM) 较 全 面 地 描述 和 分 析 软 件 机 构 的 软件 过 程 能 力 的 发 展 程度 ， 建 立 了 一 个 描 
述 软件 机 构 的 软件 过 程 成 熟 度 的 分 级 标准 和 框架 。 软 件 过 程 能 力 是 描述 遵循 一 个 软件 过 程 
而 得 到 期 望 结 果 的 程度 ， 软 件 过 程 成 熟 度 是 指 一 个 具体 的 软件 过 程 被 明确 定义 、 管 理 、 控 
制 其 实效 的 程度 。 利 用 能 力 成 熟 度 模型 ， 软 件 机 构 可 以 评估 自己 当前 的 过 程 成 熟 度 ， 并 通 
过 提出 更 严格 的 软件 质量 标准 和 过 程 改 进 ， 来 选择 自己 的 改进 策略 ， 以 达到 更 高 一 级 的 成 
熟 程度 。 软 件 产品 评价 需要 策划 和 管理 ， 从 而 也 是 管理 职能 中 的 一 个 部 分 。 

软件 质量 模型 ”一 个 框架 ， 它 规定 了 内 部 和 外 部 质量 的 质量 模型 与 使 用 质量 的 质量 模 
型 ， 以 及 它们 在 软件 生存 周期 中 的 关系 。 内 部 和 外 部 质量 的 质量 模型 将 软件 质量 属性 分 类 
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为 6 个 特性 ， 即 功能 性 、 可 靠 性 、 易 用 性 、 效 率 、 易 维护 性 和 易 移 植 性 ， 并 进一步 细 分 为 
27 个 子 特性 ， 从 而 构成 一 个 有 层次 的 树 状 结构 ， 结 构 的 最 高 层 由 质量 特性 组 成 ， 最 低层 则 
由 软件 质量 属性 组 成 。 使 用 质量 的 质量 模型 将 软件 质量 属性 分 类 为 4 个 特性 ， 即 有 效 性 、 
生产 率 、 安 全 性 和 满意 度 。 获 得 软件 的 使 用 质量 依赖 于 所 取得 的 外 部 质量 ， 而 取得 的 外 部 
质量 依赖 于 获得 必要 的 内 部 质量 ， 所 取得 的 内 部 质量 又 依赖 于 生存 周期 中 所 规定 的 过 程 的 
质量 。 同 样 ， 为 了 获得 所 需 的 使 用 质量 ， 就 有 助 于 确定 外 部 质量 需求 ， 从 而 有 助 于 确定 内 
部 质量 需求 ， 进 而 有 助 于 确定 过 程 的 质量 。 

软件 质量 特性 

功能 性 : 在 指定 条 件 下 使 用 时 ， 软 件 产品 提供 满足 明确 和 隐 含 需求 功能 的 能 力 ; 

可 靠 性 ， 在 指定 条 件 下 使 用 时 ， 软 件 产品 维持 规定 的 性 能 级 别 的 能 力 ; 

易 用 性 : 在 指定 条 件 下 使 用 时 ， 软 件 产品 被 理解 、 学 习 、 使 用 及 其 吸引 用 户 的 能 力 ; 

效率 :在 规定 条 件 下 ， 相 对 于 所 用 资源 的 数量 ， 软 件 产品 可 提供 适当 性 能 的 能 力 

易 维护 性 ， 软件 产品 可 被 修改 的 能 力 ， 修 改 可 能 包括 修正 、 改 进 或 者 适应 环境 、 需 求 
和 功能 规约 的 变化 ; 

易 移植 性 ， 软件 产品 从 一 种 环境 迁移 到 另 一 种 环境 的 能 

有 效 性 : 软件 产品 在 指定 使 用 环境 下 ， 使 用 户 准 确 、 完 整地 获得 规定 目标 的 能 力 ; 

生产 率 ; 软件 产品 在 指定 使 用 环境 下 ， 使 用 户 花费 合适 的 与 有 效 性 相关 的 资源 数量 的 
能 力 ; 

安全 性 : 软件 产品 在 指定 使 用 环境 下 ， 获 得 可 接受 的 损害 人 类 、 商 务 、 软 件 、 财 产 或 
环境 风险 级 别 的 能 力 ; 

满意 度 : 软件 产品 在 指定 使 用 环境 下 ， 使 用 户 满意 的 能 

软件 质量 度量 ”能 被 用 来 确定 软件 系统 或 软件 产品 某 属 性 值 的 一 种 测量 方法 或 测量 尺 
度 。 测 量 尺度 可 以 根据 满足 不 同 程度 的 需求 细 分 为 多 个 级 别 ， 如 划分 为 两 级 ， 不 能 令 人 满 
意 的 和 令 人 满意 的 ; 如 划分 为 4 级 ， 包 括 超出 需求 、 达 到 目标 、 可 接受 的 最 低级 别 和 不 可 
接受 的 。 软 件 质量 度量 有 内 部 度量 、 外 部 度量 和 使 用 质量 的 度量 3 种 。 内 部 度量 可 应 用 于 
在 设计 和 编码 期 间 的 非 执行 软件 产品 〈 如 设计 规约 或 源 代 码 )， 能 提供 给 用 户 、 评 价 者 、 测 
试 员 和 开发 者 评价 软件 质量 ， 并 尽早 地 发 布 质量 问题 。 外 部 度量 是 通过 测试 、 操 作 和 观察 
可 执行 软件 ， 能 提供 给 用 户 、 评 价 者 、 测 试 员 和 开发 者 评价 软件 质量 。 使 用 质量 的 度量 是 
在 指定 使 用 环境 下 ， 测 量 有 效 性 、 生 产 率 、 安 全 性 和 满意 度 达到 所 规定 的 目标 的 程度 。 

最 初 由 Rubey 和 Hartwick 于 1968 年 提出 了 一 些 属性 的 测量 方法 ， 但 未 建立 质量 度量 
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体系 。Boehm 等 人 于 1976 年 提出 了 定量 地 评价 软件 质量 的 概念 ， 并 提出 了 60 个 质量 度量 
公式 ， 并 首次 提出 了 软件 质量 度量 的 层次 模型 。1978 年 Walters 和 McCall 提出 了 从 软件 质 
量 要 素 、 准 则 到 度量 的 3 层次 软件 质量 模型 ， 将 质量 要 素 降 到 11 个 。 上 海 计 算 机 软件 中 心 
于 1988 年 提出 了 软件 质量 评价 体系 ， 由 6 个 质量 特性 和 22 个 评价 准则 ， 以 及 众多 的 度量 
和 度量 元 构成 了 一 个 4 层次 树 状 模型 ， 并 提出 了 评价 准则 与 质量 特性 的 关系 和 应 用 策略 。 
国际 标准 化 组 织 于 1991 年 制定 了 ISO/IEC 9126-1991 标准 ,给 出 了 6 个 特性 和 21 个子 特 性 ， 
又 于 1994 年 开始 对 ISO/IEC 9126 修订 ， 直 到 2001 年 才 完 成 修订 工作 ， 现 已 被 两 个 系列 标 
准 “ISO/IEC 14598 软件 工程 ”产品 评价 ”和 “ISO/IEC 9126 软件 工程 产品 质量 ”所 
取代 。 

软件 质量 评价 过 程 ”由 于 评价 的 出 发 点 不 同 ， 可 分 为 3 种 评价 过 程 : 其 一 ， 开 发 者 用 
的 过 程 ， 计 划 开 发 新 产品 或 增强 现 有 产品 时 为 了 预测 最 终 产 品质 量 指标 ;其 二 ， 需 求 方 用 
的 过 程 ， 计 划 获 取 或 复 用 某 个 已 有 产品 时 ， 为 了 决定 接受 产品 或 者 从 众多 可 选 产品 选择 某 
个 产品 ， 其 三 ， 评 价 者 用 的 过 程 ， 应 开发 者 、 需 方 或 其 他 机 构 的 请 求 ， 对 产品 进行 独立 评 
估 ， 它 们 通常 是 第 三 方 机 构 。 不 论 哪 一 种 评价 过 程 ， 都 是 首先 要 确立 评价 需求 ， 然 后 是 规 
定 评价 、 设 计 评 价 和 执行 评价 等 活动 。 确 立 评价 需求 应 确立 评价 目的 ， 确 定 产 品类 型 (中 
间 制 品 、 最 终 产 品 )， 规 定 质量 模型 ， 规 定 评价 包括 选择 度量 、 建 立 度量 评定 等 级 、 确 立 评 
佑 准则 ;设计 评价 包括 制定 评价 计划 ; 执行 评价 包括 进行 度量 、 与 评估 准则 相 比 较 ， 评 价 

早 在 20 世纪 60 年 代 末 ， 已 经 有 人 讨论 大 型 软件 开发 项 目的 组 织 管理 问题 。 随 着 软件 
工程 在 实践 过 程 中 发 生 的 问题 ， 人 们 认识 到 软件 产品 和 软件 项 目的 开发 ， 不 完全 取决 于 软 
件 开发 方法 。 与 程序 的 复杂 性 和 系统 的 复杂 性 相 比 ， 前 者 已 得 到 较 大 的 缓解 ， 更 重要 的 是 
后 者 。 如 进度 推迟 、 经 费 超 支 、 质 量 差 、 软 件 人 员 不 称职 ， 均 与 管理 有 关 。 自 20 世纪 80 
年 代 初 ， 软 件 界 就 关注 “软件 过 程 ” 1984 年 10 月 在 美国 召开 的 第 一 届 国 际 软件 过 程 讨论 
会 ， 正 式 提出 了 “软件 过 程 ” 的 概念 。1991 年 9 月 美国 电气 和 电子 工程 师 学 会 (IEEE) 的 
标准 化 委员 会 制定 了 “软件 生存 周期 过 程 开 展 ” 标 准 。1994 年 国际 标准 化 组 织 和 国际 电工 
委员 会 (ISO/IEC) 制定 了 “软件 生存 周期 过 程 ” 标 准 草案 ，1995 年 正式 公布 了 “ISO/IEC 
12207-1995 信息 技术 软件 生存 周期 过 程 ” 国 际 标 准 。 同 时 ， 在 国际 标准 化 组 织 中 质量 管 
理 和 质量 保证 技术 委员 会 (ISO/TC176) 制定 了 ISO 9000 簇 标准 ， 共 有 27 个 标准 。 其 中 有 
一 个 “ISO 9000-3 质量 管理 和 质量 保证 一 一 第 3 部 分 ”， 主 要 针对 软件 开发 、 供 应 、 安 装 
和 维护 中 的 使 用 指南 ， 其 1997 版 替代 了 1993 版 ， 内 容 已 大 多 数 和 ISO/IEC 12207-1995 相 
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合 ， 读 者 可 以 参考 清华 大 学 出 版 社 于 1999 年 出 版 的 《软件 企业 ISO 9000 质量 体系 的 建 
立 和 认证 》 一 书 。 

20 世纪 80 年 代 中 期 ，IBM 在 Watts S.Humphrey 的 指导 下 ，Ron Radice 等 人 将 成 熟 度 
框架 首次 应 用 于 软件 过 程 ， 并 由 Humphrey 于 1986 年 将 此 成 熟 度 框架 带 到 卡 内 基 。 梅 隆 大 
学 的 软件 工程 研究 所 (CCMU/SEI)。 

应 美国 联邦 政府 要 求 ， 为 其 提供 一 个 评价 软件 开发 商 能 力 的 方法 ，1986 年 11 月 ， 
CMU/SEI 在 MITRE 公司 的 帮助 下 开始 设计 过 程 成 熟 度 框架 ， 以 此 帮助 软件 机 构 改进 他 们 
的 软件 过 程 。1987 年 9 月 ，CMU/SEI 发 表 了 一 个 简短 的 软件 过 程 成 熟 度 框架 。 其 后 在 
Humphrey 的 《管理 软件 过 程 》 一 书 中 进行 扩充 。 书 中 提出 了 软件 过 程 评估 和 软件 能 力 评估 ， 
和 成 熟 度 问卷 ， 用 于 评估 软件 过 程 成 熟 度 。 基 于 这 些 设 想 ， 由 Jim Withey，Mark Paulk 和 
Cynthia Wise 在 1990 年 推出 了 最 早 的 草案 。1991 年 8 月 Mary Beth Chrissis 和 Bil Curtis 帮 
助 Mark Paulk 校订 ， 推 出 了 CMM (成 熟 度 模型 》1.1 版 。 

CMU/SEI 原先 计划 在 1997 年 下 半年 推出 2.0 版 , 1998 年 推出 2.1 版 。 但 由 于 种 种 原因 ， 
未 能 按 计 划 推 出 2.0 版 。 

由 于 美国 联邦 政府 的 大 力 推行 , CMM 模型 得 到 了 广泛 应 用 , CMU/SEI 于 2001 年 公布 
了 通过 CMM 评估 的 软件 机 构 共有 964 家 ， 并 对 其 作 了 统计 分 析 。 目 前 CMM 本 身 还 在 向 
纵深 发 展 ，CMM 家 族 有 : 

软件 能 力 成 熟 度 模型 (SW-CMM) 

软件 获取 能 力 成 熟 度 模 型 (SA-CMM) 

人 员 能 力 成 熟 度 模 型 (People-CMM) 

系统 工程 能 力 成 熟 度 模型 (SE-CMM) 

集成 产品 开发 能 力 成 熟 度 模型 (IPD-CMM) 

个 体 软件 过 程 (PSP) 

群 组 软件 过 程 (TSP) 

另外 ， 国 际 标准 化 组 织 为 组 织 软件 过 程 评 价 标准 的 制订 ， 成 立 了 “软件 过 程 改 进 和 能 
力 确 定 (Software Process Improvement and Capability Determine，SPICD)” 项 目 ，ISO/IEC 
JTCI 的 SC 7 分 技术 委员 会 于 1996 年 9 月 正式 公布 了 工作 草案 , 代号 为 15504, 即 ISOVIEC 
TR 15504 Information Technology—Software Process Assessment。 

CMM 的 广泛 采纳 和 成 功 推广 ， 推 动 了 软件 及 其 他 学 科 的 类 似 模 型 的 开发 ， 从 而 模型 
繁衍 ， 导 致 了 过 程 改善 目标 和 技术 的 冲突 。 要 求 的 培训 工作 有 了 相当 大 的 增长 ， 部 分 实践 
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人 员 在 应 用 各 种 不 同 的 模型 来 实现 特定 的 需要 时 产生 了 混淆 。 针 对 这 种 情况 ， 美 国联 邦 政 
府 、 产 业界 和 CMU/SEI 于 1998 年 启动 了 “能 力 成 熟 度 模型 集成 (Capability Maturity Model 
Integration，CMMI)” 项 目 ， 于 2000 年 第 四 季度 发 布 了 第 一 个 正式 的 CMMI， 最 近 的 修改 
是 2002 年 6 月 10 日 。CMMI 包括 了 大 量 的 工程 改善 和 过 程 改善 的 信息 ， 提 供 了 单一 的 集 
成 化 框架 来 改善 跨越 几 个 学 科 的 机 构 的 工程 过 程 , 从 而 提高 机 构 过 程 改 善 的 质量 和 有 效 性 。 
相信 CMMI 将 会 逐步 替代 CMM。 

另外 我 国 也 非常 重视 CMM 的 研究 和 应 用 ,目前 已 经 参照 CMMI1.1 版 制定 国家 军 标 “ 军 
用 软件 成 熟 度 模型 ” 以 及 参照 CMMI 制定 行业 标准 “ST/T11234 软件 过 程 能 力 评估 模型 ” 
和 “ST/T 11235 软件 能 力 成 熟 度 模型 ”。 


1.4 软件 测试 


1.4.1 软件 测试 的 重要 性 


计算 机 和 程序 是 一 对 挛 生 兄弟 ， 自 从 计算 机 诞生 之 日 就 必须 要 有 程序 在 其 上 运行 。 为 
了 使 所 编制 的 程序 能 在 计算 机 上 运行 ， 从 而 得 到 问题 的 正确 解 ， 必 须 对 程序 的 功能 性 进行 
测试 。 所 以 ， 软 件 测 试 工作 是 在 软件 工程 诞生 之 前 就 客观 存在 了 ， 一 直 延 用 至 今 ， 且 其 测 
试 的 内 容 和 技术 也 有 了 较 大 的 发 展 。 

无 论 是 ISO 9000 的 质量 体系 认证 ， 还 是 CMU/SEI 的 CMM 认证 ， 其 中 均 涉 及 到 测试 ， 
如 ISO 9000 中 共有 19 个 要 素 , 其 中 一 个 要 素 就 是 “检验 和 试验 ” 对 于 软件 来 说 就 是 测试 ; 
再 如 CMU/SEI 的 CMM 中 共有 18 个 过 程 关键 域 ， 其 中 有 一 个 质量 保证 过 程 关 键 域 ， 就 是 
对 过 程 的 监视 和 测量 。 

因此 ， 无 论 从 何 种 角度 讲 ， 软 件 测试 是 一 个 必 不 可 少 的 活动 ， 是 对 软件 需求 分 析 、 设 
计 规 约 和 编码 的 最 终 复审 ;是 软件 质量 保证 的 关键 步骤 。 软 件 测试 是 根据 软件 开发 各 阶段 
的 规约 和 软件 的 内 部 结构 ， 精 心 设计 一 批 测试 用 例 〈 包 括 输入 数据 及 其 预期 的 输出 结果 )， 
利用 这 些 测试 用 例 去 运行 程序 ， 以 发 现 软件 中 不 符合 质量 特性 要 求 〈 即 缺陷 或 错误 ) 的 
[ 程 。 目 前 ， 许 多 软件 开发 机 构 将 研制 力量 的 40% 以 上 投入 到 软件 测试 之 中 ， 体 现 了 充分 
视 软 件 质量 要 求 。 众 所 周知 ， 软 件 中 存在 的 缺陷 甚至 是 错误 ， 如 果 遗 留 到 软件 交付 投入 
行 之 时 ， 终 将 会 暴露 出 来 。 但 到 那 时 ， 不 仅 改正 这 些 缺 陷 所 花 的 代价 更 高 ， 而 且 往 往 造 
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成 恶劣 的 后 果 。 由 此 可 知 软件 测试 的 重要 性 。 

软件 测试 不 等 同 于 程序 测试 。 软 件 测试 应 当 贯 穿 软 件 生 存 周 期 全 过 程 。 因 此 ， 需 求 描 
述 、 需 求 规约 、 设 计 规 约 、 模 块 设计 书 以 及 程序 等 都 应 成 为 软件 测试 的 对 象 。 换 句 话说， 
软件 测试 包括 程序 测试 和 各 类 文档 的 评审 ， 这 就 是 对 软件 测试 的 广义 理解 。 相 对 的 狭义 理 
解 就 是 程序 测试 ， 但 也 不 等 于 程序 编 好 了 才 进 行 测试 。 

在 进行 软件 产品 或 软件 系统 开发 时 ， 主 要 有 3 类 人 员 必 须 参 与 ， 他 们 是 项 目 经 理 、 开 
发 人 员 和 测试 人 员 。 一 般 来 说 ， 大 家 都 会 十 分 重视 开发 工作 ， 因 此 在 一 个 项 目 组 中 ， 会 有 
很 多 的 开发 人 员 ， 而 测试 人 员 都 比较 少 。 经 过 多 次 实践 后 ， 才 会 增加 测试 人 员 ， 如 微软 公 
司 就 是 这 种 情况 。 目 前 软件 测试 人 员 就 比较 多 了 ， 如 Exchange 2000， 项 目 经 理 23 人 ， 开 
发 人 员 140 人 ， 测 试 人 员 350 人 ; 再 如 Windows 2000， 项 目 经 理 250 人 ， 开 发 人 员 1700 
人 ， 测 试 人 员 3200 人 ， 可 以 看 出 测试 人 员 和 开发 人 员 之 比 ， 竟 达 5 : 3。 对 于 我 国 当 前 的 
软件 企业 来 说 ， 软 件 测试 的 力度 远 远 不 够 ， 随 着 市 场 的 成 熟 和 企业 的 发 展 ， 必 将 会 极 大 地 
投入 到 测试 工作 中 去 ， 那 时 测试 人 员 将 会 十 分 走俏 。 


1.4.2 ”软件 测试 的 目的 和 原则 


基于 不 同 的 立场 ， 存 在 着 不 同 的 测试 目的 。 从 用 户 的 角度 看 ， 一 般 希 望 通过 软件 测试 
暴露 软件 中 隐藏 的 缺陷 ， 以 此 来 决定 是 否 可 以 接受 该 软件 产品 和 软件 系统 。 从 软件 开发 者 
的 角度 看 ， 总 是 希望 通过 测试 说 明 软 件 中 不 存在 缺陷 ， 表 明 该 软件 已 正确 地 实现 了 用 户 的 
要 求 ， 从 而 确立 用 户 对 该 软件 的 质量 信任 。 由 软件 管理 者 角度 看 ， 普 遍 希望 花费 有 限 的 资 
源 达 到 该 软件 用 户 的 质量 要 求 ， 经 费 和 进度 是 其 首要 考虑 的 焦点 。 因 此 ，Grenford.J.Myers 
就 软件 测试 目的 提出 如 下 的 观点 : 

口 ”测试 是 程序 的 执行 过 程 ， 目 的 在 于 发 现 缺 陷 ; 

口 一 个 好 的 测试 用 例 在 于 能 发 现 至 今 未 发 现 的 缺陷 ; 

口 一 个 成 功 的 测试 是 发 现 了 至 今 未 发 现 的 多 个 缺陷 的 测试 。 

所 以 ， 测 试 的 目标 是 以 最 少 的 资源 和 时 间 ， 找 出 软件 中 隐藏 的 各 种 缺陷 甚至 错误 。 测 
试 的 成 功 与 否 就 是 以 发 现 软件 中 潜在 的 缺陷 多 少 来 衡量 。 

根据 这 些 测试 目的 和 目标 ， 软 件 测试 应 该 注意 些 什 么 呢 ?” 郑 人 杰 等 人 编著 的 《实用 软 
件 工程 ;中 第 2 版 (清华 大 学 出 版 社 ，1999 年 ) 中 有 一 段 描述 对 此 问题 进行 了 回答 ， 现 摘 
录 如 下 : 
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@ 应 当 把 “尽早 地 和 不 断 地 进行 软件 测试 ”作为 软件 开发 者 的 座右铭 。 

由 于 原始 问题 的 复杂 性 ， 软 件 的 复杂 性 和 抽象 性 ， 软 件 开发 各 个 阶段 工作 的 多 样 性 ， 
以 及 参加 开发 各 种 层次 人 员 之 间 工 作 的 配合 关系 等 因素 ， 使 得 开发 的 每 个 环节 都 可 能 产生 
错误 。 所 以 不 应 把 软件 测试 仅仅 看 作 是 软件 开发 的 一 个 独立 阶段 ， 而 应 当 把 它 贯 穿 到 软件 
开发 的 各 个 阶段 中 。 坚 持 在 软件 开发 的 各 个 阶段 的 技术 评审 ， 这 样 才能 在 开发 过 程 中 尽早 
发 现 和 预防 错误 ， 把 出 现 的 错误 克服 在 早期 ， 杜 绝 某 些 隐患 ， 提 高 软件 质量 。 

@ 测试 用 例 应 由 测试 输入 数据 和 与 之 对 应 的 预期 输出 结果 这 两 部 分 组 成 。 

在 做 测试 以 前 ， 应 当 根据 测试 的 要 求 选择 在 测试 过 程 中 使 用 的 测试 用 例 。 测 试用 例 主 
要 用 来 检验 程序 员 编制 的 程序 ， 因 此 不 但 需要 测试 的 输入 数据 ， 而 且 需 要 针对 这 些 输 入 数 
据 的 预期 输出 结果 。 如 果 对 测试 输入 数据 没有 给 出 预期 的 程序 输出 结果 ， 那 么 就 缺少 了 检 
验 实 测 结果 的 基准 ， 就 有 可 能 把 一 个 似是而非 的 错误 结果 当成 正确 结果 。 

@ 程序 员 应 避免 检查 自己 的 程序 。 

测试 工作 需要 严格 的 作风 ， 客 观 的 态度 和 冷静 的 情绪 。 人 们 常常 由 于 各 种 原因 ， 具 有 
一 种 不 愿 否定 自己 工作 的 心理 ， 认 为 揭露 自己 程序 中 的 问题 总 不 是 一 件 愉快 的 事 ， 这 一 心 
理 状态 就 成 为 测试 自己 程序 的 障碍 。 另 外 , 程序 员 对 规约 理解 错误 而 引入 的 错误 更 难 发 现 。 
如 果 由 别人 来 测试 程序 员 编 写 的 程序 ， 可 能 会 更 客观 ， 更 有 效 ， 并 更 容易 取得 成 功 。 要 注 
意 的 是 ， 这 点 不 能 与 程序 的 排 错 (debugging， 亦 译 成 调试 ) 相 混淆 。 排 错 由 程序 员 自 己 来 
做 可 能 更 有 效 。 

@ 在 设计 测试 用 例 时 ， 应 当 包 括 合理 的 输入 条 件 和 不 合理 的 输入 条 件 。 

合理 的 输入 条 件 是 指 能 验证 程序 正确 的 输入 条 件 ， 而 不 合理 的 输入 条 件 是 指 异 常 的 、 临 
界 的 及 可 能 引起 问题 异 变 的 输入 条 件 。 在 测试 程序 时 ， 人 们 常常 倾向 于 过 多 地 考虑 合法 的 和 
期 望 的 输入 条 件 ， 以 检查 程序 是 否 做 了 它 应 该 做 的 事情 ， 而 忽视 了 不 合法 的 和 预想 不 到 的 输 
入 条 件 。 事 实 上 ， 软 件 在 投入 运行 以 后 ， 用 户 的 使 用 往往 不 遵循 事先 的 约定 ， 使 用 了 一 些 意 
外 的 输入 ， 如 用 户 在 键盘 上 按 错 了 键 或 输入 了 非法 的 命令 。 如 果 开 发 的 软件 遇 到 这 种 情况 时 
不 能 做 出 适当 的 反应 ， 给 出 相应 的 信息 ， 那 么 就 容易 产生 故障 ， 轻 则 给 出 错误 的 结果 ， 重 则 
导致 软件 失效 。 因 此 ， 软 件 系统 处 理 非法 命令 的 能 力也 必须 在 测试 时 受到 检验 。 用 不 合理 的 
输入 条 件 测试 程序 时 ， 往 往 比 用 合理 的 输入 条 件 进行 测试 能 发 现 更 多 的 错误 。 

@ 充分 注意 测试 中 的 群集 现象 。 
测试 时 不 要 以 为 找到 了 几 个 错误 问题 就 已 解决 ， 不 需 继续 测试 了 。 经 验 表 明 ， 测 试 后 
程序 中 残存 的 错误 数目 与 该 程序 中 已 发 现 的 错误 数目 或 检 错 率 成 正比 。 根 据 这 个 规律 ， 应 
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当 对 错误 群集 的 程序 段 进 行 重点 测试 ， 以 提高 测试 投资 的 效益 。 

在 所 测 程序 段 中 ， 若 发 现 错误 数目 多 ， 则 残存 错误 数目 也 比较 多 。 这 种 错误 群集 性 现 
象 ， 已 为 许多 程序 的 测试 实践 所 证 实 。 例 如 美国 IBM 公司 的 OS/370 操作 系统 ，47% 的 错 
误 仅 与 该 系统 的 4% 的 程序 模块 有 关 。 这 种 现象 对 测试 很 有 用 。 如 果 发 现 某 一 程序 模块 似乎 
比 其 他 程序 模块 有 更 多 的 错误 倾向 时 ， 则 应 当 花 费 较 多 的 时 间 和 代价 测试 这 个 程序 模块 。 

@ 严格 执行 测试 计划 ， 排 除 测试 的 随意 性 。 

测试 计划 应 包括 : 所 测试 软件 的 功能 ， 输 入 和 输出 ， 测 试 内 容 ， 各 项 测试 的 进度 安排 ， 
资源 要 求 ， 测 试 资料 ， 测 试 工具 ， 测 试用 例 的 选择 ， 测 试 的 控制 方式 和 过 程 ， 系 统 组 装 方 
式 ， 跟 踪 规 程 ， 排 错 规程 ， 回 归 测 试 的 规定 以 及 评价 标准 等 《下 面 还 会 作 介绍 )。 

对 于 测试 计划 ， 要 明确 规定 ， 不 要 随意 解释 。 

@ 应 当 对 每 一 个 测试 结果 做 全 面 检查 。 

这 是 一 条 最 明显 的 原则 ， 但 常常 被 忽视 。 有 些 错 误 的 征兆 在 输出 实测 结果 时 已 经 明显 
地 出 现 了 ， 但 是 如 果 不 仔 细 全 面 地 检查 测试 结果 ， 就 会 使 这 些 缺 陷 或 错误 被 遗漏 掉 。 所 以 
必须 对 预期 的 输出 结果 明确 定义 ， 对 实测 的 结果 仔细 分 析 检 查 ， 抓 住 症候 ， 暴 露 错 误 。 

@ 妥善 保存 测试 计划 ， 测 试用 例 ， 出 错 统计 和 最 终 分 析 报 告 ， 为 维护 提供 方便 。 


1.4.3 ”软件 测试 过 程 


软件 测试 过 程 可 以 在 两 个 不 同 的 层次 上 分 析 ， 在 低层 次 上 ， 软 件 测试 过 程 是 一 个 不 断 
地 运行 一 个 程序 段 ， 不 断 地 输入 数据 ， 观 察 和 记录 程序 的 运行 行为 和 输出 的 结果 ， 并 判断 
其 行为 和 输出 结果 的 正确 性 ， 直 到 能 够 由 这 些 结果 有 效 地 分 析 该 程序 段 的 特性 的 过 程 。 

为 了 高 效 地 执行 这 一 过 程 ， 往 往 需 要 书写 一 段 程序 来 调用 被 测试 的 程序 段 ， 向 被 测试 
程序 段 输送 测试 数据 ， 打 印 、 显 示 或 记录 该 程序 段 运行 的 行为 。 这 样 一 段 程序 被 称 之 为 该 
测试 的 驱动 程序 。 同 样 亦 往往 需要 编写 另 一 段 程序 来 为 被 测试 的 程序 段 提供 数据 〈 在 正式 
交付 用 户 运行 时 ， 这 些 数据 可 能 是 由 其 他 程序 段 被 调用 后 运行 的 结果 ， 也 可 能 是 由 其 他 程 
序 段 直接 提供 )。 这 样 一 段 程序 称 之 为 该 测试 的 桩 基 模 块 〈stub )。 对 程序 动态 运行 行为 的 
观察 和 记录 ， 只 限于 该 程序 段 测试 的 输出 结果 是 不 够 的 ， 有 时 需要 对 程序 段 的 执行 路 径 以 
及 在 路 径 上 的 一 些 关 键 点 的 中 间 结 果 进行 记录 和 分 析 。 为 了 有 效 地 记录 该 测试 的 动态 行为 
需要 在 该 程序 段 中 插入 一 些 程序 代码 ， 这 样 的 代码 称 为 软件 测试 监视 代码 。 

软件 测试 过 程 还 可 以 在 一 个 更 高 的 层次 上 来 进行 分 析 。 软 件 测试 过 程 可 以 看 成 不 断 地 
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进行 测试 、 排 错 、 修 改 程序 和 文档 ， 然 后 再 进行 测试 (回归 测试 )， 直 到 软件 达到 用 户 质量 
特性 要 求 的 一 个 循环 往复 的 过 程 。 

一 个 成 功 的 测试 包括 两 个 主要 方面 : 其 一 是 被 测试 的 程序 段 在 足够 多 的 测试 数据 上 是 
正确 的 。 注 意 ， 并 不 是 指 被 测试 的 程序 段 是 正确 的 ， 它 可 能 发 现存 在 隐 含 的 缺陷 ， 也 可 能 
在 某 些 测试 数据 上 未 发 现 缺 陷 ， 只 说 明 在 这 种 情况 下 ， 被 测试 的 程序 段 是 正确 的 。 其 二 是 
测试 数据 是 充分 的 ， 即 该 程序 段 在 测试 数据 上 的 动态 行为 能 够 充分 反映 质量 特性 的 总 体 
表现 。 


1.4.4 软件 测试 与 相关 的 几 个 概念 


软件 测试 不 仅仅 是 软件 质量 保证 体系 中 的 重要 一 环 ， 而 且 也 是 保证 质量 的 重要 技术 手 
段 ， 在 前 面 已 讨论 了 它们 之 间 的 关系 。 除 此 之 外 ， 还 有 几 个 概念 需要 进一步 说 明 。 

(1) 排 错 (debugging) 是 查找 、 分 析 和 纠正 错误 的 过 程 。 而 测试 〈testing) 是 由 人 工 
或 自动 方法 来 执行 或 评价 软件 系统 或 软件 子 系统 的 过 程 ， 以 验证 是 否 满足 规定 的 需求 ， 或 
识别 出 期 望 的 结果 和 实际 结果 之 间 有 无 差别 。 因 此 ， 测 试 的 任务 是 尽 可 能 多 地 发 现 软件 中 
的 缺陷 和 错误 ， 而 排 错 的 任务 是 进一步 诊断 和 改正 程序 中 潜在 的 缺陷 和 错误 。 一 般 来 说 ， 
排 错 有 两 类 活动 其 一 是 确定 程序 中 可 疑 缺 陷 或 错误 的 确切 性 质 和 位 置 ， 其 二 ， 是 对 程序 
〈 设 计 、 编 码 ) 进行 修改 ， 从 而 排除 这 个 潜在 的 缺陷 或 错误 。 

(2) 验证 〈verification) 有 3 个 含义 : 

其 一 ， 确 定 软件 生存 周期 中 的 一 个 给 定 阶段 的 产品 是 否 达 到 前 阶段 确立 的 需求 的 过 程 ; 

其 二 ， 程 序 正确 性 的 形式 证 明 ， 即 采用 形式 理论 证 明 程 序 符合 设计 规约 规定 的 过 程 ; 

其 三 ， 评 审 、 审 查 、 测 试 、 检 查 、 审 计 等 各 类 活动 ， 或 对 某 些 项 处 理 、 服 务 或 文件 等 
是 否 和 规定 的 需求 相 一 致 进行 判断 和 提出 报告 。 

(3) 确认 (validation) 是 在 软件 开发 过 程 结束 时 ， 对 软件 进行 评价 ， 以 确认 它 和 软件 
需求 是 否 相 一 致 的 过 程 ， 其 目的 是 想 证 实在 一 个 给 定 的 外 部 环境 中 软件 的 正确 性 。 确 认 一 
般 包 括 需求 规约 的 确认 和 程序 的 确认 ， 而 程序 的 确认 又 分 静态 确认 和 动态 确认 。 静 态 确认 
不 在 计算 机 上 实际 执行 程序 ， 通 过 人 工分 析 或 者 程序 正确 性 证 明 来 证 实 程序 的 正确 性 。 动 
态 确认 主要 通过 动态 执行 程序 作 分 析 ， 或 者 测试 程序 来 检查 其 动态 行为 ， 以 证 实 程序 是 否 
存在 问题 ， 这 通常 就 叫 确认 测试 。 

由 此 ， 可 以 把 验证 与 确认 看 成 是 软件 测试 的 一 部 分 工作 。 


软 伯 


软件 测试 实用 指南 


1.5 软件 测试 方法 分 类 


测试 无 论 技术 还 是 应 用 都 处 在 发 展 中 ， 所 以 软件 测试 的 内 容 、 工 具 ， 甚 至 关于 软 


件 测 试 的 名 词 术语 也 都 在 不 断 扩大 中 。 而 这 些 软件 测试 的 内 容 、 工 具 和 名 词 术语 ， 都 代表 


着 软件 j 


j 试 的 某 个 方面 ， 有 其 特定 的 含义 。 为 了 比较 正确 地 理解 其 含义 和 比较 正确 地 将 其 


定位 ， 应 该 从 宏观 角度 对 软件 测试 加 以 分 类 。 


软 伯 


F 测 试 有 各 种 分 类 方法 ， 按 照 不 同 的 分 类 原则 有 不 同 的 分 类 结果 。 软 件 测试 的 分 类 


原则 可 以 有 以 下 几 种 : 


口 


OOODO DO 


口 


按照 软件 
按照 软件 
按照 软件 


测试 的 动 、 静 态 分 类 ; 
层面 分 类 ; 
开发 过 程 的 内 、 外 分 类 ; 


按照 测试 用 例 所 依据 的 信息 来 源 分 类 ; 
按照 判断 测试 的 充分 性 分 类 ; 


按照 软件 


测试 的 完整 性 分 类 。 


(1) 按照 软件 测试 的 动 、 静 态 来 分 ， 有 静态 测试 和 动态 测试 。 

在 软件 开发 过 程 中 ， 每 产生 一 个 文档 ， 或 每 一 个 活动 结束 时 产生 的 文档 ， 都 必须 对 文 
档 进行 测试 ， 静 态 测试 通过 了 ， 则 该 过 程 或 活动 才 算 结束 ， 开 发 工作 取得 了 进展 ， 可 以 进 
入 下 一 个 阶段 或 活动 ， 对 这 种 静态 测试 亦 叫做 评审 。 

动态 测试 就 是 通过 运行 程序 来 检验 程序 的 动态 行为 和 运行 结果 的 正确 性 。 运 行程 序 并 
非 动态 测试 的 目的 ， 通 过 运行 来 检验 程序 是 否 正 确 才 是 动态 测试 的 目的 。 动 态 测试 必须 具 
备 测试 用 例 ， 有 时 还 需要 具备 驱动 程序 、 桩 模块 和 测试 监视 代码 。 

(2) 按照 软件 层面 来 分 ， 美 国 国家 宇航 局 建议 将 软件 评审 的 内 容 分 两 个 层面 来 进行 ， 
即 技术 评审 和 管理 评审 。 

Q@ 技术 评审 的 任务 
建立 软件 配置 管理 基线 ; 
提出 并 解决 技术 问题 ， 审 查 技术 工作 ; 
评价 项 目的 状态 ， 判 明 有 关 技术 问题 的 近期 、 长 期 风险 ， 并 加 以 讨论 ; 

在 技术 代表 的 权限 内 ， 达 成 已 判明 风险 的 转移 策略 ; 


口 


口 
口 
口 


口 
口 
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标识 呈 交 给 管理 人 员 讨 论 的 风险 要 素 和 有 关 问 题 ; 
确保 用 户 和 软件 开发 技术 人 员 之 间 的 交流 通畅 。 


@ 管理 评审 的 任务 


报告 上 级 管理 部 门 该 项 目的 状态 、 所 采取 的 方针 、 所 达成 的 技术 协议 ， 以 及 软件 
产品 进展 的 总 体 情况 ; 

解决 技术 评审 不 能 解决 的 问题 ; 

就 技术 评审 不 能 解决 的 近期 、 长 期 风险 可 达成 的 转移 战略 ; 

鉴别 并 解决 管理 方面 的 问题 以 及 技术 评审 没有 提出 的 风险 ; 

征 得 用 户 的 同意 和 各 方 认可 以 便 及 时 完成 。 


(3) 按照 软件 开发 过 程 的 内 、 外 进行 分 类 。 
@ 软件 开发 过 程 中 的 测试 。 按 软件 开发 过 程 中 所 处 的 阶段 〈 或 活动 ) 及 其 作用 来 


DODDO 寺 


单元 测试 
集成 测试 
系统 测试 
验收 测试 


软件 开发 过 程 中 的 测试 ， 大 部 分 是 开发 单位 自行 完成 的 。 当 然 ， 也 可 交 第 三 方 软件 测 
试 机 构 执 行 ， 但 往往 是 系统 测试 和 验收 测试 。 有 时 ， 这 种 测试 ， 因 为 不 是 由 用 户 进行 的 ， 
又 称 a 测试 。 

出 现在 软件 开发 过 程 中 各 个 阶段 (或 活动 ) 的 还 有 “回归 测试 ”。 只 要 对 软件 的 代码 有 
修改 ， 不 论 是 修改 错误 还 是 增加 功能 或 提高 性 能 ， 原 则 上 都 要 进行 回归 测试 ， 以 保证 对 代 
码 修改 的 正确 性 ， 并 不 会 对 其 他 部 分 带 来 负面 影响 。 

@ 软件 产品 测试 。 其 测试 对 象 是 产品 化 或 正在 产品 化 的 软件 。 这 种 测试 的 内 容 包 含 范 


围 很 广 ， 
A. 


WOO0Oo0oo 


通常 由 第 三 方 软件 测试 机 构 执 行 。 
通常 的 软件 产品 测试 : 

功能 测试 

性 能 测试 

B 测试 (用 户 测 试 ) 

Benchmark 测试 

专门 的 软件 产品 测试 : 


16 软件 测试 实用 指南 


可 靠 性 测试 
标准 符合 性 测试 
互 操作 性 测试 
安全 性 测试 
强度 测试 
(4) 按照 测试 用 例 所 依据 的 信息 来 源 ， 测 试 方法 可 以 分 为 如 下 几 种 。 

Q@ 以 程序 为 基础 的 测试 。 通过 对 程序 的 分 析 形 成 测试 用 例 , 并 以 程序 被 执行 的 程度 来 
判断 测试 是 否 充分 ， 这 就 是 “ 白 盒 法 ”。 

@ 以 需求 规约 和 需求 描述 为 基础 的 测试 。 通 过 分 析 软 件 的 需求 描述 和 需求 规约 形成 测 
试用 例 ， 并 根据 需求 描述 和 需求 规约 所 规定 的 功能 和 性 能 是 否 得 到 了 充分 的 检验 来 判断 测 
试 是 否 充分 。 这 就 是 “ 黑 盒 法 ”。 

@ 程序 和 需求 相 结合 的 测试 。 综 合 考虑 需求 和 实现 形成 测试 用 例 。 

@ 以 接口 为 基础 的 测试 , 仅仅 依靠 软件 与 其 运行 环境 之 间 的 接口 形成 测试 用 例 ， 随 机 
测试 就 是 一 种 以 接口 为 基础 的 测试 方法 。 

(5) 按照 判断 测试 的 充分 性 ， 测 试 方法 可 以 分 为 如 下 几 种 。 

@ 结构 性 测试 , 则 在 充分 履 盖 程序 结构 ,并 以 程序 中 的 某 类 成 分 是 否 都 已 得 到 测试 为 
依据 ， 来 判断 测试 的 充分 性 ， 如 语句 窗 盖 是 一 种 结构 性 测试 。 

@ 排 错 性 测试 , 则 在 排除 程序 中 潜在 缺陷 的 可 能 性 ， 并 根据 测试 用 例 集成 排除 软件 潜 
在 缺陷 可 能 性 的 能 力 判 断 测试 的 充分 性 。 

@ 分 域 测试 , 通过 对 软件 的 需求 和 实现 进行 分 析 , 将 软件 的 输入 空间 划分 成 一 系列 子 
空间 ， 然 后 在 每 一 个 子 空 间 内 选择 一 个 或 多 个 测试 数据 。 

@ 功能 测试 ， 根 据 软 件 所 需 的 功能 和 所 实现 的 功能 ， 形 成 测试 用 例 ， 分 析 测 试 的 充 
分 性 。 


DOOO DO 


(6) 按照 软件 测试 的 完整 性 ，Shooman 从 程序 结构 和 测试 覆盖 程度 分 为 如 下 几 种 。 
@ 完全 性 和 连续 性 测试 

要 求 程 序 中 的 所 有 指令 至 少 执行 一 次 〈100% 的 语句 覆盖 ) 

@ 图 路 径 测试 

所 有 图 路 径 至 少 执行 一 次 〈100% 的 图 路 径 覆 盖 ) 

@ 程序 路 径 测 试 

所 有 程序 路 径 至 少 执行 一 次 〈100% 的 程序 路 径 覆 盖 ) 
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@ 穷 举 测试 

对 输入 参数 的 所 有 值 执行 所 有 程序 路 径 ， 或 对 输入 参数 的 所 有 值 和 所 有 输入 序列 ， 以 
及 初始 条 件 的 所 有 组 合 ， 执 行 所 有 程序 路 径 。 

以 上 这 6 种 软件 测试 的 分 类 方法 ， 从 不 同 的 技术 角度 对 软件 测试 进行 分 类 。 实 际 上 ， 
它们 之 间 有 很 多 交互 和 相关 之 处 。 例 如 ， 同 一 测试 技术 可 以 融 在 不 同类 的 相关 测试 阶段 之 
中 。 在 本 书 中 ， 主 要 依据 软件 开发 过 程 的 内 、 外 分 类 方法 安排 章节 目录 。 


1.6 软件 错误 的 分 级 


在 软件 产品 开发 中 ， 不 论 哪 一 阶段 产生 的 缺陷 和 错误 ， 其 最 后 的 表现 就 是 : 软件 产品 
达 不 到 用 户 的 要 求 ， 由 于 存在 软件 错误 ， 使 之 不 能 有 效 地 完成 规定 的 任务 。 

软件 测试 的 任务 ， 就 在 于 找 出 或 发 现 软件 中 存在 的 错误 〈 假 如 错误 存在 的 话 )。 由 于 错 
误 的 性 质 不 同 ， 危 害 性 也 不 同 。 软 件 测试 如 果 能 发 现 软件 中 危害 性 大 的 错误 〈 如 果 存 在 的 
话 )， 那 么 该 软件 测试 的 价值 就 越 高 。 一 般 将 软件 错误 分 为 5 级 。 

口 第 1 级 错误 

不 能 完全 满足 软件 需求 ， 基 本 功能 未 完全 实现 ， 危 及 人 员 或 设备 安全 的 错误 。 

口 第 2 级 错误 

不 利于 完全 满足 软件 需求 或 基本 功能 的 实现 ， 并 且 不 存在 可 以 变通 的 解决 办 法 〈 重 新 
装 入 或 重新 启动 该 软件 不 属于 变通 解决 办 法 )。 

口 ”第 3 级 错误 

不 利于 完全 满足 软件 需求 或 基本 功能 的 实现 ， 但 却 存在 合理 的 、 可 以 变通 的 解决 办 法 
(重新 装 入 或 重新 启动 该 软件 不 属于 变通 解决 办 法 )。 


口 第 4 级 错误 
不 影响 完全 满足 软件 需求 或 基本 功能 的 实现 ， 但 有 不 便于 操作 员 操作 的 错误 。 
口 第 5 级 错误 


不 属于 第 1~4 级 错误 的 其 他 错误 。 


第 2 章 测试 技术 


2.1 软件 开发 V 模型 


软件 测试 就 是 用 人 工 或 自动 方法 来 执行 评价 软件 产品 或 其 部 件 的 过 程 ， 以 验证 它 是 否 
满足 规定 的 需求 ， 或 是 识别 出 期 望 结 果 和 实际 结果 之 间 有 无 差别 。 软 件 测试 的 重要 性 已 经 
得 到 业界 的 高 度 重 视 ， 但 对 测试 的 认识 尚 有 不 少 误 区 。 如 测试 的 目的 是 说 明 程序 能 正确 地 
执行 它 应 有 的 功能 ， 测 试 表 明 程 序 中 不 再 含有 错误 ， 测 试 只 能 发 现 功能 上 的 缺陷 等 。 为 了 
进一步 说 明 评 审 和 测试 的 重要 性 ， 有 必要 介绍 “生存 周期 软件 开发 V 模型 ”( 以 下 简称 V 
模型 )， 它 是 由 JJIMcDermid 于 1994 年 在 “软件 工程 师 参考 手册 ”中 提出 的 。 此 后 有 不 少 学 
者 在 此 基础 上 作 了 不 少 介绍 。 如 今 结合 ISO/IEC 12207: 1995“ 软 件 生存 周期 过 程 ” 作 了 一 
些 调整 。 如 图 2.1 所 示 。 注 意 ，V 模型 并 不 针对 某 种 开发 模型 或 某 种 开发 方法 ， 它 是 按照 
软件 生存 周期 中 的 不 同 阶段 划分 ， 因 此 不 能 认为 它 只 适合 于 瀑布 模型 。 

从 V 模型 ， 可 以 看 到 “评审 ”占据 了 非常 重要 的 位 置 ， 几 乎 不 同 的 阶段 都 有 评审 。 在 
实际 使 用 中 ， 人 们 会 发 现 ， 对 于 软件 产品 开发 人 员 而 言 ， 为 了 保证 软件 质量 所 采用 的 技术 
主要 是 软件 评审 和 软件 测试 。 而 软件 评审 与 软件 测试 相 比 ， 软 件 评审 有 其 独特 的 优点 : 

(1) 早 发 现 错误 早 纠 正 ， 从 而 降低 了 开发 成 本 ; 

(2) 除了 开发 人 员 参 加 外 ， 还 有 其 他 各 类 人 员 ， 特 别 是 用 户 ， 可 以 兼容 各 家 之 长 。 由 
于 视角 不 同 ， 从 而 效果 良好 ; 

(3) 发 现 的 缺陷 较 显 见 ,而 软件 测试 是 从 迹象 判断 缺陷 存在 (实际 输出 与 预期 输出 不 
符 )， 再 根据 各 种 现象 分 析 ， 才 能 判断 造成 缺陷 的 原因 。 这 是 一 个 极其 困难 的 过 程 ; 

(4) 测试 需 对 各 个 缺陷 分 别 进 行 分 析 、 定 位 、 再 纠正 ， 而 软件 评审 往往 可 以 成 批发 现 
缺陷 ， 同 时 也 可 成 批 纠 正 ， 从 而 效率 较 高 ; 

(5) 测试 时 发 现 缺陷 ,程序 人 员 往 往 急 于 纠正 ， 而 不 能 冷静 考虑 修改 方案 。 说 不 定 错 
了 再 错 ， 错 上 加 错 。 而 软件 评审 在 早期 ， 软 件 开发 人 员 往 往 能 够 从 容 对 待 ， 全 面 权衡 选择 
修改 方案 。 
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ES 软件 产品 


验收 测试 


a 已 确认 的 软件 


外 测试 用 鲁 | 
加 集成 计划 
图 建立 文档 


图 2.1 生存 周期 软件 开发 V 模型 


据 国 外 一 些 专家 统计 ， 在 较 典 型 的 软件 产品 开发 项 目 中 ，30%~70% 的 缺陷 是 通过 软件 
评审 发 现 的。 因此 ， 正 规 的 评审 制度 对 软件 产品 开发 成 功 是 绝对 不 可 少 的 。 我 国 软件 企业 
应 当 给 予 充 分 重视 ， 制 定 良 好 的 软件 评审 制度 。 

软件 测试 是 一 种 技术 , 对 于 任何 一 个 软件 产品 而 言 , 都 存在 着 大 量 可 能 的 测试 用 例 (test 
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case)， 但 实际 上 只 能 运行 其 中 很 少 的 一 部 分 测试 用 例 ， 希 望 这 些 有 限 的 测试 用 例 可 以 发 现 
大 部 分 的 软件 缺陷 。 因 此 ， 人 们 迫切 需要 设计 出 高 产 〈 指 发 现 缺 陷 的 数量 ) 的 测试 用 例 。 

通常 认为 测试 是 在 软件 已 编制 完成 后 进行 ， 显 然 不 能 测试 不 存在 的 东西 。 这 种 看 法 是 
假设 测试 仅仅 指 测试 执行 ， 但 必须 指出 测试 活动 不 仅 只 包含 验收 测试 本 身 。 成 功 应 用 V 模 
型 的 关键 因素 是 设计 测试 用 例 的 时 机 。 如 果 测 试 设计 到 最 后 时 刻 才 进行 ， 发 现 软件 缺陷 的 
效果 就 比较 差 。 实 际 上 测试 设计 可 以 在 获得 所 需要 的 信息 后 的 任何 时 刻 开 始 ， 可 以 提前 进 
行 ， 这 样 效 果 显 著 。 


2.2 ”软件 评审 方法 


软件 评审 源 于 20 世纪 50~60 年 代 , 是 由 管理 人 员 对 文档 进行 的 较 简 单 的 阅读 和 审批 的 
质量 控制 实践 。 在 实施 过 程 中 ， 人 们 逐渐 认识 到 ， 这 样 的 评审 往往 只 能 抽查 部 分 文档 ， 不 
能 引起 开发 人 员 对 质量 问题 的 深刻 注意 ， 于 是 召集 有 关 人 员 就 文档 开 评 审 会 议 ， 这 对 提高 
质量 是 有 帮助 的 。1976 年 IBM 就 开始 采用 软件 评审 方法 , 取得 了 很 好 的 效果 ， 后 来 得 到 广 
泛 应 用 ， 列 出 一 般 的 软件 评审 方法 如 下 : 

(1) 组 织 评审 组 ， 由 负责 人 主持 整个 评审 工作 

@ 评审 组 成 员 的 聘任 ， 准 备 工作 ; 

@ 评审 组 成 员 应 包括 项 目 管理 人 员 、 开 发 人 员 、 同 行 专家 ， 一 般 包括 : 

口 报告 者 : 该 文档 的 拥有 者 或 文档 的 产生 者 ; 
召集 人 : 负责 组 织 并 主持 评审 ; 
秘书 : 负责 将 文档 分 发 给 与 会 人 员 ， 记 录 评 审 过 程 和 结果 ， 并 将 记录 递交 给 报 
告 者 ; 
维护 者 : 负责 维护 该 文档 的 人 员 ; 
标准 检查 员 : 负责 对 照 文 档 所 适用 的 标准 进行 检查 ; 

用 户 代表 : 负责 从 其 使 用 者 的 观点 检查 该 文档 ; 

口 其 他 人 员 : 任何 对 该 文档 的 检查 能 够 有 所 贡献 的 同行 专家 。 
@ 人 数 不 宜 太 多 ， 以 利于 讨论 。 

(2) 评审 会 准备 

@ 资料 提前 5 天 分 发 ， 要 求 会 前 准备 ， 阅 读 并 记 下 问题 ; 
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@ 准备 检查 表 (check list); 

@ 了 解 准备 情况 ， 必 要 时 开 预 备 会 。 

(3) 评审 会 

@ 负责 人 主持 ， 可 由 报告 者 介绍 ， 也 可 按 检 查 表 逐 项 进行 ; 


@ 作 记 录 ; 
@ 只 讨论 问题 是 否 存 在 ， 不 问 原因 、 责 任 ， 也 不 必 讨 论 如 何 解 决 ; 
会 议 时 间 不 宜 过 长 。 


(4) 评审 会 后 续 事 项 

@ 开发 人 员 根 据 评审 会 提出 的 问题 进行 修正 

@ 评审 会 负责 人 可 视 情 况 决 定 是 否 再 评审 ， 确 认 修正 的 有 效 性 。 

为 了 提高 评审 效果 ， 可 以 采取 一 些 行 之 有 效 的 办 法 ， 例 如 : 

(1) 评审 活动 应 规范 化 ; 

(2) 评审 频 度 、 通 过 准则 等 可 根据 评审 对 象 具体 确定 。 可 参照 ISO/IEC 12207 的 标准 
来 进行 ; 

(3) 按 计 划 组 织 评审 ， 不 随意 变更 ; 

(4) 慎重 选 聘 评审 组 成 员 ; 

(5) 不 具备 评审 条 件 时 ， 不 急于 进行 评审 ; 

(6) 可 将 评审 分 为 内 部 评审 和 正式 评审 。 

口 ”内 部 评审 ， 由 项 目 负 责 人 负责 ， 请 2~3 位 专家 参加 。 应 在 软件 开发 过 程 的 各 个 阶 

段 进行 。 
口 ”正式 评审 ， 由 上 一 级 技术 负责 人 人 负责， 技术 主管 部 门 组 织 实 施 ， 一 般 在 软件 任务 
书 形成 、 软 件 需 求 分 析 完 成 和 软件 产品 形成 时 的 评审 是 正式 评审 。 

软件 评审 有 3 种 形式 ， 各 有 优 缺 点 ， 可 根据 情况 灵活 选择 一 种 或 其 组 合 : 

(1) 会 议 : 形式 比较 灵活 ， 可 以 有 不 同 的 规格 ， 评 审 组 成 员 可 多 可 少 ， 以 达到 评审 目 
标 为 原则 。 

(2) 展示 : 比 会 议 更 正式 一 些 ， 但 需要 较 多 的 准备 工作 。 

(3) 演示 : 对 于 那些 用 户 接口 占有 重要 地 位 的 软件 最 为 合适 。 当 软件 开发 中 使 用 新 技 
术 时 也 应 首先 考虑 。 这 种 方式 能 让 参与 者 很 快 掌握 软件 和 当前 状态 。 
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2.3 程序 静态 检查 方法 


程序 的 静态 检查 方法 通常 有 桌 前 检查 、 代 码 评审 和 走 查 ， 经 验 表 明 ， 使 用 这 种 方法 能 
够 有 效 地 发 现 30%~70% 的 逻辑 设计 和 编码 错误 。 


2.3.1 桌 前 检查 (desk checking) 


这 是 一 种 传统 的 检查 方法 。 由 程序 员 检 查 自己 编写 的 程序 。 程 序 员 在 程序 通过 编译 之 
后 ， 进 行 单元 测试 之 前 ， 对 源 程 序 代 码 进 行 分 析 、 检 验 并 补充 相关 的 文档 ， 目 的 是 发 现 程 
序 中 的 错误 。 检 查 项 目 有 : 

(1) 检查 变量 的 交叉 引用 表 : 重点 是 检查 未 说 明 的 变量 和 违反 了 类 型 规定 的 变量 ; 还 
要 对 照 源 程序 ， 逐 个 检查 变量 的 引用 、 变 量 的 使 用 序列 ， 临 时 变量 在 某 条 路 径 上 的 重 写 情 
况 ; 局 部 变量 、 全 局 变量 与 特权 变量 的 使 用 ; 

(2) 检查 标号 的 交叉 引用 表 : 验证 所 有 标号 的 正确 性 ， 检查 所 有 标号 的 命名 是 否 正 
确 ;转向 指定 位 置 的 标号 是 否 正确 。 

(3) 检查 子 程序 、 宏 、 函 数 : 验证 每 次 调用 与 所 调用 位 置 是 否 正确 ， 确 认 每 次 所 调用 
的 子 程序 、 宏 、 函 数 是 否 存在 ;检验 调用 序列 中 调用 方式 与 参数 顺序 、 个 数 、 类 型 上 的 一 
致 性 。 

(4) 等 价 性 检查 ; 检查 全 部 等 价 变量 类 型 的 一 致 性 ， 解 释 所 包含 的 类 型 差异 。 

(5) 常量 检查 : 确认 每 个 常量 的 取 值 和 数 制 、 数 据 类 型 ; 检查 常量 每 次 引用 同 它 的 取 
值 、 数 制 和 类 型 的 一 致 性 ; 

(6) 标准 检查 :用 标准 检查 程序 或 手工 检查 在 程序 中 是 否 有 违反 标准 的 问题 。 

(7) 风格 检查 : 检查 在 程序 设计 风格 方面 的 问题 。 

(8) 比较 控制 流 : 比较 由 程序 员 设 计 的 控制 流 图 和 由 实际 程序 生成 的 控制 流 图 ， 寻找 
和 解释 每 个 差异 ， 修 改 文档 和 校正 错误 。 

(9) 选择 、 激 活路 径 : 在 程序 员 设 计 的 控制 流 图 上 选择 路 径 ， 再 到 实际 的 控制 流 图 上 
激活 这 条 路 径 。 如 果 选 择 的 路 径 在 实际 控制 流 图 上 不 能 激活 ， 则 源 程序 可 能 有 错 。 用 这 种 
方法 激活 的 路 径 集合 应 保证 源 程序 模块 的 每 行 代码 都 得 到 检查 ， 即 桌 前 检查 完成 至 少 是 语 


第 2 章 测试 技术 23 


句 钉 盖 。 

(10) 对 照 程序 的 模块 设计 书 ， 详 细 阅 读 源 代码 一 一 程序 员 对 照 程序 的 模块 设计 书 、 
规定 的 算法 和 程序 设计 语言 的 语法 规则 ， 逐 字 逐 句 进行 分 析 和 思考 ， 比 较 实际 的 代码 和 期 
望 的 代码 ， 从 它们 的 差异 中 发 现 程序 的 问题 和 错误 。 

(11) 补充 文档 : 桌 前 检查 的 文档 是 一 种 过 渡 性 的 文档 ， 不 是 公开 的 正式 文档 。 通 过 
编写 文档 ， 也 是 对 程序 的 一 种 下 意识 的 检查 和 测试 ， 可 以 帮助 程序 员 发 现 和 抓 住 更 多 的 错 
误 。 管 理 部 门 也 可 以 通过 审查 桌 前 检查 文档 ， 了 解 模 块 的 质量 、 完 整 性 、 测 试 方法 和 程序 
员 的 能 力 。 


2.3.2 ”代码 评审 (code reading review) 


代码 评审 是 由 若干 程序 员 和 测试 员 组 成 一 个 评审 小 组 ， 通 过 阅读 、 讨 论 和 争议 ， 对 程 
序 进行 静态 分 析 的 过 程 。 

代码 评审 分 两 步 : 第 一 步 ， 小 组 负责 人 提前 把 设计 规约 、 控 制 流程 图 、 程 序 文本 及 有 
关 要 求 、 规 范 等 分 发 给 小 组 成 员 ， 作 为 评审 的 依据 。 小 组 成 员 在 充分 阅读 这 些 材料 之 后 ， 
进入 审查 的 第 二 步 ， 召 开 程序 审查 会 。 在 会 上 ， 首 先 由 程序 员 逐 句 讲解 程序 的 逻辑 。 在 此 
过 程 中 ， 程 序 员 或 其 他 小 组 成 员 可 以 提出 问题 ， 展 开 讨论 ， 审 查 错误 是 否 存在 。 实 践 表 明 ， 
程序 员 在 讲解 过 程 中 能 发 现 许多 原来 自己 没有 发 现 的 错误 ， 而 讨论 和 争议 促进 了 问题 的 暴 
露 。 例 如 对 某 个 局 部 性 小 问题 修改 方法 的 讨论 ， 可 能 发 现 与 之 牵连 的 其 他 问题 ， 甚 至 涉及 
到 模块 的 功能 说 明 、 模 块 间接 口 和 系统 总 体 结 构 的 大 问题 ， 从 而 导致 对 需求 的 重 定义 、 重 
设计 和 重 验 证 ， 进 而 大 大 改善 了 软件 质量 。 

在 会 前 ， 应 当 给 评审 小 组 每 个 成 员 准 备 一 份 常见 的 清单 ， 把 以 往 所 有 可 能 发 生 的 常见 
错误 罗列 出 来 ， 供 与 会 者 对 照 检 查 ， 以 提高 评审 的 实效 。 

这 个 常见 错误 清单 也 叫做 检查 表 ， 它 把 程序 中 可 能 发 生 的 各 种 错误 进行 分 类 ， 对 每 一 
类 列举 出 尽 可 能 多 的 典型 错误 ， 然 后 把 它们 制 成 表格 ， 供 在 评审 时 使 用 。 在 代码 评审 之 后 ， 
需要 做 以 下 几 件 事 : 

口 “把 发 现 的 错误 登记 造 表 ， 并 交 给 程序 员 ; 

口 ” 若 发 现 错误 较 多 ， 或 发 现 重大 错误 ， 则 在 改正 之 后 ， 青 次 组 织 代 码 评审 ; 

口 ” 对 错误 登记 表 进行 分 析 、 归 类 、 精 炼 ， 以 提高 审议 效果 。 


24 软件 测试 实用 指南 


2.3.3 走 查 (walk-through) 


走 查 与 代码 评审 基本 相同 ， 其 过 程 分 为 两 步 。 

第 一 步 是 将 材料 分 发 给 走 查 小 组 每 个 成 员 ， 让 他 们 认真 研究 程序 。 第 二 步 是 开会 。 开 
会 的 程序 与 代码 评审 不 同 ， 不 是 简单 地 读 程 序 和 对 照 错误 检查 表 进 行 检查 ， 而 是 让 与 会 者 
“充当 ”计算 机 。 即 首先 由 测试 组 成 员 为 所 测 程序 准备 一 批 有 代表 性 的 测试 用 例 ， 提 交 给 
走 查 小 组 。 走 查 小 组 开会 ， 集 体 扮演 计算 机 角色 ， 让 测试 用 例 沿 程序 的 逻辑 运行 一 遍 ， 随 
时 记录 程序 的 踪迹 ， 供 分 析 和 讨论 用 。 

人 们 借助 于 测试 用 例 的 媒介 作用 ， 对 程序 的 逻辑 和 功能 提出 各 种 疑问 ， 结 合 问 题 开 展 
热烈 的 讨论 和 和 争议， 能 够 发 现 更 多 的 问题 。 


2.4 ”测试 用 例 设计 原则 


测试 用 例 是 整个 软件 产品 各 阶段 测试 活动 的 主体 ,， 因此 测试 用 例 设计 至 关 重 要 。 当 然 
其 中 有 不 少 设计 与 知识 的 积累 和 经 验 相关 , 但 也 与 质量 要 求 、 软 件 企 业内 部 规章 制度 有 关 。 
在 此 提出 一 些 设 计 测 试用 例 的 原则 ， 以 供 读 者 参考 。 这 些 原则 包括 : 

(1) 测试 用 例 设计 应 注重 有 效 性 。 测 试用 例 应 该 由 两 部 分 组 成 ， 即 输入 数据 和 期 望 的 
输出 结果 。 特 别 对 于 期 望 的 输出 要 有 非常 明确 的 描述 ， 便 于 执行 测试 时 对 照 检 查 。 另 外 亦 
需 了 解 输入 数据 也 有 可 能 是 一 组 数据 , 也 可 能 是 单个 输入 数据 。 有 时 还 需要 列 出 约束 条 件 
测试 执行 时 先 要 检查 约束 条 件 是 否 一 致 ， 只 有 一 致 时 的 期 望 输出 对 照 检 查 才 有 意义 。 

(2) 测试 用 例 设 计 必须 注重 经 济 性 。 通 常情 况 下 考虑 到 资源 的 使 用 问题 上 只 能 执行 有 限 
个 测试 用 例 ， 因 此 要 求 一 个 测试 用 例 能 够 尽量 多 地 发 现 软件 缺陷 。 这 就 要 求 尽量 避免 不 同 
的 输入 数据 ， 而 得 到 相同 的 测试 效果 ， 也 要 避免 期 望 输出 结果 的 重合 ， 即 期 望 输 出 结果 涵 
盖 面 较 大 为 宜 。 

(3) 测试 用 例 设计 应 为 排 错 提 供 有 效 依 据 。 一 个 与 测试 有 关 的 活动 是 排 错 (debugging)， 
通过 测试 一 旦 发 现 软件 缺陷 存在 时 , 就 要 进行 排 错 。 而 进行 排 错 最 直接 的 手段 就 是 测试 用 例 。 
为 此 在 测试 用 例 设计 时 ， 应 充分 考虑 到 为 排 错 提供 足够 的 依据 ， 有 利 排 错 顺利 进行 。 

(4) 测试 用 例 设 计 应 考虑 多 重 性 。 不 仅 要 选用 合理 的 输入 数据 作为 测试 用 例 ， 还 应 该 
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选用 不 合理 的 输入 数据 作为 测试 用 例 ， 最 好 选用 边界 的 输入 数据 作为 测试 用 例 。 这 也 是 为 
了 提高 软件 产品 的 可 靠 性 需要 如 此 选用 。 根 据 经 验 ， 软 件 中 的 缺陷 不 少 是 存在 于 对 异常 情 
况 下 的 处 理 考虑 不 周详 。 

(5) 测试 用 例 设 计 应 分 析 功 能 完备 性 。 功 能 的 完备 性 不 仅 包括 软件 应 该 具有 的 功能 ， 
也 应 该 明确 它 不 应 该 完成 的 功能 。 测 试用 例 的 设计 既 要 对 照 检查 它 是 否 完成 了 应 该 具有 的 
功能 ， 也 要 检查 它 不 应 该 完成 的 功能 ， 例 如 工资 管理 ， 它 不 能 产生 多 余 的 工资 单 。 

什么 样 的 测试 用 例 是 好 的 测试 用 例 ? 有 4 个 特性 可 以 描述 测试 用 例 的 质量 : 

有 效 性 : 能 否 发 现 软件 缺陷 或 至 少 可 能 发 现 软件 缺陷 

可 仿效 性 : 可 仿效 的 测试 用 例 可 以 测试 多 项 内 容 ， 从 而 减少 测试 用 例 数量 ; 

经 济 性 : 测试 用 例 的 执行 分 析 和 排 错 是 否 经 济 ; 

修改 性 : 每 次 软件 修改 后 对 测试 用 例 的 维护 成 本 。 

4 个 特性 之 间 会 有 影响 ， 如 高 仿效 性 有 可 能 导致 经 济 性 和 修改 性 较 低 。 因 此 ， 通 常情 
况 下 ， 应 对 上 述 4 个 特性 进行 一 定 的 权衡 折衷。 


2.5 软件 测试 基本 技术 


一 个 软件 产品 要 进行 相应 的 测试 ， 其 测试 的 步骤 如 图 2.1 所 示 。 其 中 包括 单元 测试 、 
集成 测试 、 系 统 测 试 和 验收 测试 。 只 有 完成 这 些 测试 活动 后 的 软件 产品 才能 提交 使 用 。 

软件 测试 的 基本 内 容 包 括 : 

(1) 测试 计划 : 在 开始 测试 前 ， 要 针对 被 测 对 象 制定 测试 内 容 、 步 骤 、 方 法、 标准 、 
进度 以 及 人 员 、 资 源 等 在 内 的 测试 计划 ， 使 整个 测试 工作 能 按 规 定 要 求 进行 。 

由 于 测试 涉及 问题 很 多 ， 往 往 在 软件 产品 开发 过 程 中 ， 既 要 用 一 半 精 力 来 设计 编写 程 
序 和 文档 ， 又 要 用 一 半 精 力 来 检查 程序 中 的 缺陷 以 及 程序 和 文档 的 一 致 性 。 因 此， 整个 测 
试 工 作 量 很 大 。 测 试 计划 应 当 根据 需求 获取 和 需求 分 析 完 成 后 积累 的 测试 要 求 ， 以 及 完成 
结构 设计 活动 后 ， 制 定好 测试 计划 并 提交 使 用 。 随 着 开发 工作 的 进展 进行 必要 的 修改 和 
补充 。 

测试 计划 一 般 包 括 : 

口 ”每 个 测试 阶段 的 目的 ; 

口 ”每 个 测试 阶段 完成 的 标志 ; 
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口 “时 间 进 度 表 

口 “每 个 测试 阶段 的 负责 人 员 、 记 需 的 资源 以 及 测试 用 例 ; 

口 ”测试 所 使 用 的 工具 。 

测试 活动 中 ， 应 对 测试 的 实际 情况 做 好 记录 ， 记 录 内 容 至 少 要 有 : 

口 ”发 现 的 缺陷 和 错误 ; 

口 ” 纠 错时 对 软件 所 作 的 修改 ; 

口 ”回归 测试 情况 ; 

口 错误 原因 、 类 型 、 比 率 的 分 析 和 统计 。 

(2) 白 盒 测试 : 它 是 根据 程序 的 内 部 逻辑 而 设计 测试 用 例 , 因此 采用 白 盒 测 试 技术 时 ， 
必须 有 设计 规约 以 及 程序 清单 。 设 计 的 宗旨 就 是 测试 用 例 尽 可 能 提高 程序 内 部 逻辑 的 覆盖 
程度 ， 最 彻底 的 白 盒 测试 是 能 够 覆盖 程序 中 的 每 一 条 路 径 。 但 是 程序 中 含有 循环 后 ， 路 径 
的 数量 极 大 ， 要 执行 每 一 条 路 径 变 得 极 不 现实 。 因 此 软件 企业 需要 建立 一 些 标准 。 它 们 是 : 


口 


口 


语句 覆盖 率 : 程序 清单 中 的 每 一 个 语句 均 能 在 测试 用 例 执行 中 运行 过 ， 以 此 发 现 
语句 中 的 错误 或 缺陷 ;这 就 可 能 要 执行 若干 个 测试 用 例 ， 一 般 要 求 100% 语 句 覆 
盖 率 。 

分 支 履 盖 率 ， 要 求 执行 足够 的 测试 用 例 ， 使 程序 清单 中 每 一 个 分 叉 至 少 都 获得 一 
次 “ 真 ” 值 和 一 次 “ 假 ” 值 ， 即 每 一 个 分 支 都 执行 到 一 次 。 这 个 要 求 看 似 简单 ， 
但 当 多 重 分 支 时 ， 情 况 就 显得 非常 复杂 。 一 般 要 求 80%~90% 的 分 支 覆 盖 率 。 

条 件 履 盖 率 : 要 求 执行 足够 的 测试 用 例 ， 使 程序 清单 中 每 个 条 件 获 得 各 种 可 能 的 
结果 。 因 此 ， 所 需要 的 测试 用 例 更 多 。 一 般 要 求 60%~80% 的 条 件 履 盖 率 。 

分 支 /条 件 覆 盖 率 : 它 要 求 执行 足够 的 测试 用 例 ， 使 得 程序 清单 中 每 个 条 件 获得 各 
种 可 能 的 值 ， 并 使 得 每 个 分 支取 到 各 种 可 能 的 结果 。 它 似乎 比较 合理 ， 但 实际 上 
并 不 一 定 能 检查 到 这 种 程度 。 

条 件 组 合 覆 盖 率 : 它 要 求 执行 足够 的 测试 用 例 ， 使 得 每 个 分 支 中 各 种 条 件 可 能 组 
合 执行 一 次 。 当 然 ， 它 的 要 求 级 别 最 高 ， 测 试用 例 的 设计 就 更 加 困难 。 


上 面 列 出 的 百分比 只 供 参 考 。 这 要 根据 软件 产品 的 功能 性 要 求 以 及 资源 等 条 件 决 定 。 
(3) 黑 盒 测试 : 软件 测试 的 另 一 种 技术 是 黑 盒 测试 ， 它 与 白 盒 测 试 不 同 ， 它 不 关 
心 程序 内 部 逻辑 ， 而 上 只 是 根据 程序 功能 说 明 来 设计 测试 用 例 。 一 般 黑 盒 测 试 有 如 下 几 种 
方法 : 


口 


等 价 分 类 法 : 把 全 部 可 能 的 测试 用 例 划 分 成 若干 个 等 价 类 ， 使 得 位 于 同一 等 价 类 
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的 测试 用 例 都 有 相同 的 测试 效果 ， 即 如 果 一 个 测试 用 例 能 发 现 某 个 错误 ， 那 么 等 
价 类 中 的 其 他 测试 用 例 也 能 发 现 相同 的 错误 ， 如 果 一 个 测试 用 例 不 能 发 现 某 个 错 
误 ， 则 等 价 类 中 的 其 他 测试 用 例 也 不 能 发 现 该 错误 ， 除 非 它 属于 另 一 个 等 价 类 。 
此 时 ， 每 个 等 价 类 只 需 选择 一 个 测试 用 例 即 可 。 

口 边界 值 分 析 法 : 根据 经 验 ， 程 序 往 往 在 处 理 边界 时 出 错 ， 所 以 检查 边界 情况 的 测 
试用 例 是 高 效 的 。 它 是 从 等 价 类 中 选 一 个 或 几 个 测试 用 例 ， 使 得 该 等 价 类 的 边界 
情况 成 为 主要 测试 目标 。 它 不 仅 注 意 输 入 边界 条 件 ， 还 要 注意 输出 边界 情况 。 

口 ”因果 图 法 : 它 注重 输入 条 件 的 各 种 组 合 情 况 ， 在 功能 说 明 中 找 出 因 〈 输 入 条 件 ) 
和 果 (输出 或 程序 状态 的 变更 )， 通过 因果 图 将 功能 说 明 转换 成 一 张 判 定 表 ， 然后 
为 判定 表 的 每 一 列 设计 测试 用 例 。 

口 ”错误 推测 法 ， 根据 以 往 的 经 验 和 直觉 来 推测 程序 中 可 能 存在 的 各 种 缺陷 和 错误 ， 
从 而 有 针对 性 地 设计 测试 用 例 。 

同 白 盒 测试 一 样 ， 这 里 也 没有 一 种 方法 能 提供 一 组 完整 的 测试 用 例 ， 因 此 ， 需 要 把 各 

种 方法 结合 起 来 使 用 。 

(4) 集成 测试 : 其 目的 是 根据 设计 规约 将 各 个 模块 连接 起 来 ,用 测试 用 例 来 发 现 结构 
设计 时 留 下 的 软件 缺陷 或 错误 ， 如 模块 之 间 的 接口 等 。 所 以 它 的 主要 目标 已 不 是 发 现 程序 
模块 内 部 的 缺陷 ， 为 此 ， 经 常 采用 黑 盒 测 试 技术 。 进 行 集成 测试 的 方式 一 般 有 : 

口 渐 增 式 和 非 渐 增 式 : 非 渐 增 式 就 是 将 这 些 模块 连接 在 一 起 执行 测试 用 例 ， 渐 增 式 

就 是 在 对 N 个 已 连接 模块 执行 测试 的 基础 上 再 增加 一 个 模块 , 对 N+1 个 模块 执行 
测试 用 例 。 当 然 渐 增 式 可 以 减少 “ 桩 模块 ”的 准备 ， 及 时 发 现 接口 错误 、 易 于 排 
错 且 比较 彻底 ， 其 优越 性 较 显 著 。 
口 “由 底 向 上 : 首先 测试 最 底层 的 模块 ， 然 后 逐 层 向 上 执行 测试 。 同 一 层次 的 模块 连 
接 的 选择 则 有 多 种 ， 往 往 选择 最 关键 部 分 先进 行 。 
口 由 项 向 下 : 与 由 底 向 上 相反 ， 首 先 测试 最 顶层 的 模块 ， 按 层次 逐 层 往 下 执行 测试 。 
在 同一 层次 的 模块 选择 也 有 多 种 ， 可 视 程序 情况 加 以 选择 。 

由 项 向 下 和 由 底 向 上 的 测试 方法 均 属 渐 增 式 测试 方法 ， 在 实际 应 用 时 ， 由 项 向 下 和 由 
底 向 上 可 混合 使 用 。 这 要 在 测试 计划 中 规定 。 这 两 种 方法 的 准备 工作 也 不 一 样 。 在 此 就 不 
再 叙述 了 。 

(5) 回归 测试 : 当 发 现 软件 存在 缺陷 后 ， 首 先 要 把 错误 定位 ， 其 次 提出 修改 方案 ， 经 
审定 后 进行 正式 修改 。 然 后 将 原 有 的 测试 用 例 重 新 测试 ， 并 验证 测试 结果 。 这 就 是 回归 测 
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试 。 请 注意 ， 不 能 简单 地 只 执行 发 现 缺陷 的 测试 用 例 ， 有 时 在 修改 程序 时 ， 会 造成 软件 在 
其 他 处 的 缺陷 。 由 此 也 可 以 看 出 ， 测 试用 例 必须 妥善 保存 。 

(6) 系统 测试 : 把 软件 产品 放 到 应 用 环境 下 由 最 终 用 户 进行 的 测试 ， 以 此 检查 是 否 符 
合 需 求 描述 的 要 求 ， 如 有 不 符 ， 则 认为 软件 产品 存在 缺陷 。 由 于 需求 描述 不 仅仅 是 功能 需 
求 ， 往 往 还 包括 性 能 和 质量 上 的 要 求 。 对 进行 系统 测试 的 技术 人 员 要 求 较 高 ， 他 们 应 该 善 
于 从 用 户 角 度 考虑 问题 。 因 而 不 仅 需要 软件 的 专业 知识 ， 还 需 对 领域 也 有 必 备 知识 ， 而 且 
还 需 具 有 捕获 问题 的 能 力 以 及 较为 丰富 的 经 验 。 

(7) 验收 测试 ， 这 是 用 于 商品 化 方面 的 测试 ， 一 般 分 a 测试 和 BB 测试。a 测试 是 软件 
企业 在 商品 发 布 前 的 综合 测试 ，B 测试 是 投入 市 场 前 提供 给 某 些 用 户 进行 试用 的 测试 。 


2.6 排 错 


排 错 是 一 项 具有 较 强 的 技巧 性 的 工作 。 一 个 软件 人 员 在 分 析 测 试 结果 时 会 发 现 ， 测 试 
只 能 发 现 潜 在 缺陷 的 外 部 表现 。 

排 错 工作 是 一 项 十 分 困难 的 工作 ， 有 程序 员 的 能 力 上 的 问题 和 技术 上 的 问题 ， 它 们 交 
织 在 一 起 。 能 力 来 自 两 个 方面 : 首先 是 经 验 ， 其 次 是 心理 素质 。 经 验 的 积累 非常 重要 ， 有 
些 程序 员 为 了 获得 排 错 经 验 ， 经 常 在 程序 段 中 植 入 错误 ， 以 观看 其 测试 的 输出 结果 和 状态 
变化 ， 逐 步 增加 分 析 错 误 位 置 的 能 力 ， 熟 能 生 巧 。 在 此 ， 联 想 和 推理 非常 重要 ， 需 从 多 辑 
上 查找 原因 。 可 是 ， 即 使 有 同样 教育 背景 与 经 验 的 程序 员 ， 他 们 排 错 的 能 力也 相差 很 大 。 
其 一 ， 在 心理 上 并 不 想 承 认 程序 中 存在 的 错误 ， 总 觉得 程序 不 会 有 问题 ， 因 此 总 希望 问题 
出 在 别人 那里 , 极其 反对 别人 对 自己 所 编 的 程序 说 三 道 四 ， 所 以 无 法 积极 配合 查 错 和 排 错 
其 二 ， 觉 得 花费 如 此 巨大 的 代价 查找 缺陷 所 在 ， 还 不 如 重 编 这 段 程 序 ， 有 这 种 心理 的 人 ， 
也 极 大 地 妨碍 了 排 错 ， 且 自己 也 不 易 改 正 潜在 意识 中 的 错误 ;其 三 ， 在 排 错过 程 中 遇 到 困 
难 ， 或 者 遇 到 挫折 ， 从 而 丧失 信心 ， 两 手 一 挫 ， 想 出 种 种 理由 ， 企 图 含糊 过 去 。 

从 技术 角度 来 看 ， 也 存在 不 少 困难 。 如 现象 与 原因 所 处 的 位 置 可 能 相距 其 远 ， 极 不 易 
联想 ， 现 象 可 能 与 时 序 密切 相关 ， 实 际 输入 的 顺序 与 设想 有 不 同 ， 现 象 可 能 源 自 于 非 错误 
的 因素 〈 如 计算 的 精度 所 致 ) 等 。 

由 于 重点 在 于 测试 ， 而 不 在 于 排 错 ， 因 此 ， 关 于 排 错 的 方法 可 以 参考 其 他 的 一 些 资料 ， 
在 此 只 讨论 排 错 应 注意 的 事项 。 
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(1) 确定 错误 性 质 和 位 置 


加 


DOoDo 


使 用 联想 和 罗 辑 推理 ， 充 分 分 析 和 思考 与 错误 征兆 有 关 的 信息 ; 

当 遇 到 困难 时 ， 应 当先 搁置 一 段 时 间 ， 使 头脑 思考 避 开 死胡同 

充分 利用 排 错 工具 作为 辅助 手段 ， 但 绝 不 是 代替 思考 ; 

召集 部 分 有 关 人 员 ， 自 己 讲解 这 段 程序 的 设计 和 编码 的 具体 情况 ， 实 践 证 明 ， 此 
时 最 容易 发 现 错误 的 位 置 。 


(2) 修改 错误 


口 


口 


口 


由 于 错误 有 群集 现象 ， 如 果 已 发 现 某 段 程序 有 缺陷 时 ， 在 修改 的 同时 ， 尚 需 检查 
其 近邻 是 否 还 存在 别 的 错误 ; 

修改 了 某 个 错误 的 征兆 或 表现 ， 还 需 再 次 检查 该 错误 导致 的 本 质 ， 一 定 要 使 修改 
E 够 解释 清楚 与 这 个 错误 有 关 的 全 部 线索 ; 

努力 避免 修改 了 一 个 已 发 现 的 错误 ， 而 带 进 了 一 个 新 的 错误 ， 为 此 ， 必 须 进 行 回 
归 测 试 ; 

修改 错误 时 ， 有 时 会 追溯 到 前 一 阶段 的 工作 ， 那 时 必须 慎重 ; 

修改 了 源 程序 ， 同 时 也 要 修改 相应 的 文档 。 


2.7 软件 测试 自动 化 技术 


无 论 自动 执行 还 是 手工 执行 测试 都 不 会 影响 测试 的 有 效 性 和 可 仿效 性 ， 自 动 测试 只 对 
测试 的 经 济 性 和 修改 性 有 影响 ， 自 动 软件 测试 可 以 显著 减少 测试 开销 ， 同 时 显著 增加 在 有 
限时 间 内 的 测试 。 国 外 有 些 软件 企业 已 从 中 大 获 收益 ， 所 节省 的 资金 高 达 手 工 测试 开销 的 
80%。 也 有 些 软件 企业 因此 能 快速 地 开发 出 更 好 的 软件 产品 ， 从 而 提早 上 市 ， 也 取得 显著 
的 经 济 效益 。 自动 软件 测试 可 以 做 到 即使 最 小 的 改动 也 可 以 用 最 小 的 代价 进行 全 面 的 测试 。 


因此 ， 
用 
从 


自动 软件 测试 方法 越 好 ， 长 期 使 用 获得 的 收益 就 越 大 。 
图 2.2 的 形式 来 对 比 自动 软件 测试 与 手工 软件 测试 在 4 个 特性 上 的 不 同 。 


图 中 可 以 看 出 第 一 次 自动 执行 相同 测试 用 例 时 ， 其 修改 性 和 经 济 性 较 低 ， 但 自动 测 


试 运行 多 次 后 ， 就 比 手 工 测试 高 了 。 
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第 一 次 自动 测试 


图 22 Keviat 图 
2.7.1 测试 工具 分 类 


为 了 实现 高 效 的 自动 测试 ， 必 须 有 好 的 测试 软件 〈 即 测试 工具 )， 支 持 生存 周期 软件 开 
发 的 测试 工具 可 用 图 2.3 来 表示 。 图 2.3 是 由 图 2.1 演化 而 来 的 。 


图 2.3 生存 周期 软件 开发 适用 的 测试 工具 
口 “测试 设计 工具 : 有 助 于 准备 测试 输入 或 测试 数据 。 包 括 罗 辑 设计 工具 和 物理 设计 
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工具 。 前 者 如 测试 用 例 生成 程序 ， 后 者 如 从 数据 库 中 随机 抽取 记录 的 工具 

口 ”测试 管理 工具 : 帮助 完成 测试 计划 、 跟 踪 测 试 运行 结果 等 工具 ， 也 包括 有 助 于 需 
求 、 设 计 、 编 程 测试 及 缺陷 跟踪 的 工具 ; 

口 ”静态 分 析 工 具 : 分 析 代 码 而 不 执行 代码 的 测试 ; 

口 覆盖 工具 : 评估 一 系列 的 测试 ， 测 试 软件 被 测试 执行 的 覆盖 程度 ; 

口 ” 排 错 工具 : 发 现 错误 位 置 和 性 质 的 工具 。 它 并 不 是 测试 工具 ， 但 在 测试 时 会 经 常 
使 用 排 错 工具 ; 

口 “动态 分 析 工 具 : 评估 正在 运行 的 软件 ; 

口 ”性 能 模拟 工具 : 用 模拟 方式 对 软件 产品 进行 性 能 测试 ; 

口 ”测试 执行 和 比较 工具 : 可 使 测试 自动 进行 ， 从 而 将 测试 输出 结果 与 期 望 输出 进行 
比较 。 


2.7.2 脚本 技术 


非 脚 本 测试 是 指 坐 在 计算 机 前 边 测试 边 想 测 试 什么 ， 没 有 测试 计划 也 没有 测试 列表 。 
这 往往 在 规模 较 少 、 时 间 紧 迫 ， 甚 至 没有 按照 软件 工程 要 求 进行 开发 时 采用 。 显 然 不 能 适 
用 于 软件 自动 测试 。 

模糊 的 手工 脚本 ， 它 含有 测试 用 例 的 描述 ， 但 不 对 输入 和 比较 进行 详细 描述 ， 测 试 条 
件 可 能 是 隐 仿 的 而 不 是 显 式 说 明 的 。 模糊 的 手工 脚本 用 于 自动 测试 , 取决 于 实施 者 的 技能 ， 
要 求 他 能 确定 测试 条 件 且 对 软件 和 应 用 有 所 了 解 。 

详细 的 手工 脚本 ， 它 包含 准确 的 测试 输入 数据 和 相应 的 测试 输出 结果 ， 可 以 严格 按 脚 
本 进行 测试 。 在 此 基础 上 进行 自动 测试 就 比较 容易 。 

自动 脚本 ， 它 包含 测试 工具 中 使 用 的 数据 和 指令 。 如 同步 、 比 较 信息 、 从 何 处 读数 据 
和 将 数据 存放 何 处 ， 以 及 控制 信息 。 下 面 只 讨论 自动 脚本 。 

可 维护 的 脚本 技术 非常 类 似 于 建立 可 维护 的 程序 ， 所 以 脚本 技术 类 似 于 编程 技术 ， 脚 
本 是 由 脚本 语言 编写 ， 而 脚本 语言 就 是 一 种 编程 语言 。 因 此 它 应 遵循 的 原则 是 : 

口 ”注释 : 为 用 户 和 管理 者 提供 帮助 ; 

口 ” 功 能 : 执行 单个 任务 且 可 复 用 ; 

口 ”结构 :应 易 读 、 易 理解 和 易 维 护 ; 

口 文档 : 有 助 于 复 用 和 维护 。 
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脚本 技术 有 如 下 几 种 : 

口 线性 脚本 : 是 在 录制 手工 执行 测试 用 例 时 得 到 的 脚本 。 因 此 每 个 测试 用 例 可 以 通 
过 脚本 完整 地 被 回放 。 

口 ”结构 化 脚本 : 类 似 于 结构 化 程序 ， 它 含有 3 种 基本 控制 结构 (其 “顺序 ”结构 就 
是 线性 脚本 )， 但 还 可 以 有 “调用 ”。 因 此 不 仅 提高 了 复 用 性 ， 也 增加 了 功能 和 灵 
活性 。 

口 ”共享 脚本 : 可 以 被 多 个 测试 用 例 复 用 ， 即 脚本 语言 允许 一 个 脚本 被 另 一 个 脚本 调 
用 ， 因 而 它 可 以 放 在 一 个 地 方 而 不 必 放 在 每 个 脚本 中 。 这 样 能 减少 维护 开销 ， 但 


应 在 稳定 性 上 花费 更 多 精力 。 如 果 要 充分 发 挥 共享 脚本 的 优点 ， 则 好 的 技术 人 员 
和 配置 管理 系统 十 分 重要 。 


口 ”数据 驱动 脚本 : 将 测试 输入 和 期 望 町 出 储存 在 独立 的 〈 数 据 ) 文件 中 ， 而 不 是 存 
放 在 脚本 中 。 这 样 只 需 修改 数据 表 便 容易 增加 新 测试 而 无 需 修改 脚本 。 注 意 脚本 
和 数据 表 必 须 一 致 。 

口 ”关键 字 驱 动 脚本 : 实际 上 是 较 复 杂 的 数据 驱动 的 逻辑 扩展 。 将 关键 字 储 存在 数据 表 
中 ， 用 关键 字 指 定 可 执行 的 任务 。 控 制 脚本 可 以 解释 关键 字 ， 这 就 要 求 一 个 附加 
的 技术 实现 层 。 应 正确 表示 关键 字 。 这 种 脚本 不 需要 像 其 他 脚本 技术 那样 说 明细 
节 ， 只 需 告诉 测试 做 什么 ， 真正 做 到 测试 信息 与 实现 的 分 离 。 

所 有 这 些 脚 本 技术 并 不 是 互相 排斥 的 ， 而 是 相辅相成 的 ， 因 此 在 实际 应 用 中 可 以 结合 
使 用 ， 只 要 对 自动 测试 有 利 ， 能 降低 开销 就 是 应 用 的 原则 。 如 同 编程 语言 需要 编译 系统 ， 
脚本 语言 也 需要 作 预 处 理 。 最 好 的 测试 执行 工具 可 以 自动 进行 预 处 理 ， 而 预 处 理 适 用 于 任 
何 一 种 脚本 技术 。 


2.7.3 测试 件 结构 


测试 件 是 由 测试 使 用 的 和 产生 的 所 有 元 组 成 。 包 括 文档 、 脚 本 、 输 入 数据 、 期 望 输出 、 
实际 输出 、 差 异 报告 和 总 结 报告 。 结 构 是 所 有 元 的 逻辑 集合 ， 其 存储 和 使 用 位 置 、 如 何 分 
组 和 引用 、 如 何 修 改 和 维护 等 如 图 2.4 所 示 。 

测试 件 结构 的 实现 取决 于 自动 化 的 最 终 规模 ， 它 会 影响 用 户 如 何 重复 使 用 诸如 脚本 和 
数据 这 样 的 测试 件 。 
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测试 材料 测试 结果 


图 2.4 测试 件 所 有 元 的 层次 


现 介绍 一 种 在 国外 一 些 软件 企业 取得 了 很 大 成 功 的 方法 。 它 建立 4 种 测试 件 组 。 


口 


口 


口 


口 


测试 组 : 每 个 测试 组 包括 一 个 或 多 个 测试 用 例 ， 即 包含 与 该 组 测试 用 例 有 关 的 所 
有 测试 材料 ， 脚 本 、 数 据 、 期 望 输出 和 文档 ; 

脚本 组 : 包括 脚本 和 文档 ， 不 仅 是 一 个 测试 组 中 不 同 的 测试 用 例 可 使 用 的 脚本 ， 
它 是 指 所 有 的 脚本 。 可 以 重复 使 用 这 些 脚 本 ; 

数据 组 ， 只 包含 数据 文件 和 文档 。 它 和 脚本 组 一 样 ， 指 所 有 的 数据 文件 ， 也 可 以 
重复 使 用 这 些 数 据 文件 ; 

实用 程序 组 ， 是 被 一 个 以 上 测试 组 中 测试 用 例 使 用 的 实用 程序 (如 占 位 程序 、 驱 
动 程序 、 转 换 程序 、 比 较 程序 等 ) 组成。 共享 的 实用 程序 也 应 归 入 实用 程序 组 。 


所 有 这 些 不 同 的 测试 件 的 原版 放 在 测试 件 库 中 , 而 测试 件 库 必须 在 配置 管理 控制 之 下 ， 
以 保证 能 方便 地 访问 测试 件 ， 并 控制 所 有 的 变更 。 

测试 件 技术 的 好 处 就 在 于 ， 一 个 技术 人 员 开 始 使 用 别人 开发 的 自动 测试 时 能 大 大 地 提 
高 效率 ; 同时 它 也 是 一 个 自治 系统 ， 不 需要 大 量 的 长 期 管理 工作 ; 对 回归 测试 以 及 版 本 更 
新 时 的 自动 测试 也 大 有 益处 。 


2.7.4 自动 测试 的 前 后 处 理 


前 处 理 就 是 要 在 测试 执行 之 前 实现 的 步骤 ， 如 设置 或 恢复 在 测试 运行 之 前 必须 具备 的 
先决 条 件 ， 后 处 理 是 在 测试 完成 后 执行 的 步 又。 实际 上 整套 测试 必然 有 很 多 类 似 的 任务 。 
把 这 些 任务 进行 自动 化 是 完全 可 行 的 。 这 对 于 自动 测试 来 说 亦 非常 重要 。 

典型 的 前 处 理 任务 包括 创建 〈 文 件 、 数 据 或 数据 库 )， 检 验 某 些 条 件 是 否 具备 〈 如 有 无 
足够 的 磁盘 空间 )， 重 新 组 织 文件 以 及 转换 数据 。 典 型 的 后 处 理 任务 包括 删除 (文件 、 数 据 
或 数据 库 、 测 试 结果 、 副 产物 )， 检 验 〈 如 文件 是 否 存 在 )， 重 组 (如 把 测试 结果 放 到 测试 
件 结构 中 )， 转 换 ( 把 输出 结果 转换 成 易 处 理 的 格式 )。 


hdl 
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软件 开发 过 程 中 的 测试 ， 也 有 人 称 为 a 测试 。 它 是 指 从 软件 需求 分 析 、 规 格 定义 、 设 
计 实 现 到 集成 为 一 个 软件 产品 的 整个 过 程 中 《〈 见 图 2.1)， 为 保障 软件 产品 的 功能 实现 、 性 
能 达标 的 一 系列 质量 保障 措施 。 软 件 开发 过 程 中 的 测试 ， 其 特点 是 : 首先 它 是 在 软件 研制 
方 〈 或 公司 、 厂 家 等 ) 的 主持 下 进行 的 ， 或 者 是 受 软件 研制 方 的 委托 而 进行 的 ， 其 次 它 是 
深入 到 软件 各 部 分 的 细微 末节 ， 不 论 从 研制 软件 的 过 程 的 具体 细节 去 考虑 ， 还 是 从 软件 的 
每 个 组 成 部 分 或 语句 去 考虑 ， 都 应 该 是 最 细微 的 ;第 三 是 评审 、 测 试 、 模 拟 往往 结合 进行 
或 交替 进行 ， 第 四 是 有 各 种 标准 和 规范 ， 这 些 规 范 和 标准 可 能 是 国家 级 的 、 部 级 的 、 行 业 
级 的 、 国 际 级 的 ， 甚 至 还 有 任务 级 的 。 

软件 开发 过 程 中 的 测试 ， 凡 是 开发 过 软件 的 人 员 和 单位 ， 可 能 都 进行 过 。 但 是 测试 的 
效果 如 何 ， 可 能 大 相 径 庭 。 为 了 提高 软件 产品 的 质量 ， 不 论 从 软件 产品 研制 过 程 的 技术 角 
度 ， 还 是 从 软件 产品 研制 机 构 的 管理 规范 角度 ， 都 制订 了 一 系列 的 标准 和 规范 。 在 这 些 标 
准 或 规范 中 ， 规 定 了 在 软件 研制 各 阶段 中 的 标志 、 评 审 、 测 试 应 如 何 做 。 这 些 规定 绝 不 是 
与 人 为 敌 的 条 条 框框 ， 而 是 为 了 保证 所 研制 的 软件 达到 成 功 目的 所 采取 的 必要 措施 。 在 这 
一 点 上 ， 端 正 态度 可 能 是 不 容易 的 。 

在 软件 开发 过 程 中 ， 要 进行 的 评审 、 测 试 可 能 很 多 ， 在 此 不 能 一 一 列举 。 本 章 将 介绍 
产品 开发 过 程 中 测试 的 主要 部 分 : 


口 单元 测试 
口 ”集成 测试 
口 ”系统 测试 
口 ”验收 测试 和 配置 审计 


3.1 软件 结构 


软件 一 词 已 有 明确 的 定义 ， 本 书 仅 为 遵循 和 沿用 。 软 件 结构 不 是 从 结构 理论 出 发 ， 研 
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究 软件 采用 何 种 结构 好 ， 是 刚性 还 是 柔性 ， 是 层次 还 是 构架 ; 都 是 针对 目前 软件 的 通常 结 
构 形式 ， 采 用 的 不 同 的 测试 方法 。 

软件 可 以 分 为 : 系统 或 程序 、 分 系统 或 分 程序 、 模 块 和 程序 单元 〈 过 程 或 例 行 程序 ) 4 
级 (如 图 3.1 所 示 )。 图 中 第 0 层 表 示 系 统 或 程序 ， 第 1 层 表 示 分 系统 或 分 程序 ， 第 2 层 表 
示 模 块 ， 第 3 层 表 示 程 序 单元 。 


3.1.1 程序 单元 


程序 单元 ， 从 结构 角度 而 言 ， 是 构成 程序 的 基本 单位 。 它 是 一 段 可 以 分 开 编译 的 源 代 
码 。 例 如 图 3.1 中 的 G、H、I 部 分 ， 就 是 程序 单元 。 


图 3.1 软件 结构 


程序 单元 本 身 有 以 下 特点 : 
口 一 个 入 口 和 一 个 出 口 。 
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口 ”规模 : 每 个 程序 单元 ， 在 用 高 级 编程 语言 实现 时 ， 平 均 不 超过 100 条 语句 行 。 一 
般 而 言 ， 最 长 不 应 超过 200 条 。 
口 ”程序 单元 ， 应 用 以 下 5 种 基本 控制 结构 设计 和 编码 ， 它 们 是 : 
SEQUENCE; 
IF THEN ELSE: 
DO WHILE; 
DO UNTIL; 
CASE。 
口 ”“ 严 格 控制 GOTO 语句 的 使 用 。 
程序 单元 还 有 其 他 一 些 特点 ， 在 此 不 再 详 述 。 


3.1.2 ”模块 


当今 的 信息 产业 界 ， 对 “模块 ”一 词 的 应 用 最 广 ， 定 义 也 最 不 确定 。 就 是 在 本 书 中 ， 
对 “模块 ”一 词 ， 也 有 广义 理解 和 狭义 理解 之 分 。 所 谓 广 义理 解 就 是 : 或 大 或 小 的 离散 的 
程序 单元 。 大 可 以 大 到 例如 编译 程序 等 这 样 一 个 系统 ， 小 可 以 小 到 一 个 程序 单元 。 所 谓 狂 
义 的 理解 ， 就 是 构件 结构 的 一 个 部 分 ， 它 是 程序 中 一 个 能 从 逻辑 上 分 开 的 部 分 ， 可 由 一 个 
或 多 个 程序 单元 组 成 。 它 可 以 进行 独立 的 编译 。 在 图 3.1 中 ，E、F 就 是 结构 中 的 模块 部 分 。 

在 软件 集成 测试 中 ， 模 块 测试 和 集成 有 时 特别 地 提出 来 ， 那 是 为 了 强调 其 重要 性 ; 但 
限于 篇 幅 和 避免 雷同 ， 大 多 数 不 特 别 强调 模块 集成 和 模块 测试 这 一 点 。 不 论 强 调 与 否 ， 模 
块 集成 与 模块 测试 都 是 必要 或 关键 的 环节 之 一 。 


3.1.3 ”分 系统 或 分 程序 


分 系统 或 分 程序 ， 指 系统 或 程序 的 一 个 功能 子 集 ， 它 由 一 个 或 多 个 功能 模块 组 成 。 图 
3.1 中 的 A、B、C、D 就 是 分 系统 或 分 程序 。 

在 系统 集成 过 程 中 ， 由 模块 集成 为 一 个 分 系统 ， 是 很 
成 测试 而 言 ， 分 系统 的 集成 测试 也 是 非常 重要 的 。 


3.1.4 系统 或 程序 


要 的 一 步 。 相 应 地 ， 对 系统 集 


ml 


系统 或 程序 ， 指 一 个 系统 中 软件 的 全 体 , 或 具有 独立 功能 的 软件 部 分 ， 在 图 3.1 中 ，M 
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就 是 一 个 程序 或 系统 。 
3.1.5” 软 部 件 或 构件 (software component) 


同一 个 英文 词 ， 有 不 同 的 意义 和 理解 ， 包 括 外 国人 的 理解 和 中 国人 的 理解 在 内 。 

口 一 种 理解 为 软 部 件 

软 部 件 就 是 一 个 软件 配置 项 中 的 一 个 明确 的 部 分 。 也 就 是 说 ， 在 计算 机 软件 系统 中 ， 
可 以 独立 地 进行 配置 和 使 用 。 

口 男 一 种 理解 为 构件 

构件 是 从 面向 对 象 的 技术 发 展 而 来 ， 它 主要 强调 软件 复 用 ， 即 “构件 ”是 复 用 的 单位 。 

不 论 哪 一 种 理解 ， 它 的 内 容 都 涵盖 了 上 上述“ 模块” 和 “分 系统 或 分 程序 ”两 层 。 有 无 
可 能 涵盖 更 多 ， 正 在 研究 和 发 展 之 中 。 


3.2 单元 测试 


单元 测试 是 完成 对 软件 设计 的 最 小 单位 正确 性 检验 的 测试 工作 。 单 元 测试 主要 依据 是 
软件 详细 设计 文档 ， 其 目的 是 发 现在 程序 单元 内 部 所 有 重要 的 控制 路 径 中 可 能 存在 的 各 种 
错误 。 单 元 测试 需要 从 程序 的 内 部 结构 出 发 设计 测试 用 例 。 多 个 程序 单元 可 以 独立 、 平 行 
地 进行 单元 测试 。 


3.2.1 单元 测试 内 容 


在 单元 测试 时 ， 测 试 人 员 要 依据 软件 详细 设计 文档 详细 设计 说 明 书 、 源 程序 清单 )， 
熟悉 程序 单元 的 IO 条 件 及 其 逻辑 结构 ， 主 要 采用 白 盒 测 试 的 方法 ， 辅 之 以 黑 盒 测试 方法 ， 
使 其 对 任何 合理 的 输入 和 不 合理 的 输入 ， 都 能 够 鉴别 和 响应 。 按 照 软件 设计 时 分 配给 程序 
单元 的 功能 和 性 能 对 程序 单元 进行 测试 。 

1. 必须 进行 的 测试 

(1) 功能 测试 。 检 查 各 个 程序 单元 是 否 正确 地 实现 了 规定 的 功能 ; 

(2) 接口 测试 。 对 被 测 程序 单元 的 数据 流 进行 测试 ， 检 查 其 是 否 能 正确 输入 和 输出 。 
测试 项 目 包括 : 调用 程序 单元 时 输入 参数 与 形式 参数 在 数量 、 属 性 等 方面 是 否 匹配 ;传递 
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给 被 调用 单元 的 实 参数 目 和 属性 是 否 与 形 参数 目 和 属性 相同 ;是否 修改 了 只 做 输入 用 的 形 
式 参数 ， 全 局 变量 定义 在 各 个 单元 中 是 否 一 致 ， 约束 条 件 是 否 作为 参数 进行 传递 。 

当 程 序 模块 执行 外 部 IO 操作 时 ， 必 须 进行 附加 的 测试 项 目 ， 包 括 : 文件 属性 是 否 正 
确 ; OPEN 语句 与 CLOSE 语句 是 否 正 确 ; IO 格式 说 明 是 否 与 IO 语句 相 匹配 ; 缓冲 区 大 
小 是 否 与 记录 长 度 相 匹配 ; 文件 是 否 在 进行 读 写 操作 之 前 被 打开 ， 并 在 处 理 结束 后 被 关闭 ; 
是 否 正确 处 理 IO 错误 ， 以 及 输出 信息 中 有 无 文字 性 的 错误 等 。 

(3) 执行 路 径 测试 。 在 单元 测试 过 程 中 ， 对 执行 路 径 的 选择 测试 是 最 重要 的 任务 。 应 
当 查 找 由 于 错误 计算 、 不 正确 的 比较 、 或 者 不 正常 的 控制 流 而 产生 的 错误 。 通 过 对 基本 执 
行路 径 和 循环 进行 测试 可 以 发 现 更 多 的 路 径 错 误 。 

常见 的 错误 计算 包括 : 误解 或 者 不 正确 的 运算 优先 次 序 ， 运 算 方 式 错误 ， 不 正确 的 初 
始 化 ， 计 算 精 度 不 满足 要 求 ， 表 达 式 的 符号 表示 不 正确 等 。 常 见 的 比较 和 控制 流 错误 包括 : 
不 同 数据 类 型 量 的 相互 比较 ， 不 正确 的 逻辑 操作 或 优先 级 ， 运 算 精 度 引 起 的 两 数值 比较 不 
相等 ， 表 达 式 中 不 正确 的 比较 符号 和 变量 ， 不 正常 的 或 不 可 能 的 循环 终止 条 件 ， 有 “ 差 1” 
错误 ， 遇 到 分 支 循 环 时 不 能 退出 死 循 环 )， 不 适当 地 修改 了 循环 变量 等 。 

(4) 局 部 数据 结构 测试 。 程 序 单元 的 局 部 数据 结构 是 最 常 出 现 的 错误 来 源 ， 应 检查 下 
列 类 型 的 错误 不 正确 或 不 一 致 的 数据 类 型 描述 ， 使 用 错误 的 初始 化 或 缺 省 值 ， 变 量 名 拼 
写 错误 或 者 被 截断 ;不 一 致 的 数据 类 型 等 。 另 外 ， 除 局 部 数据 结构 外 ， 还 应 该 检查 全 局 数 

(5) 语句 覆盖 和 分 支 缆 盖 测 试 。 主 要 检查 全 部 语句 和 基本 路 径 是 否 执行 ， 并 是 否 达到 

2. 根据 需求 可 以 选择 的 测试 

(1) 错误 处 理 能 力 测试 。 比 较 完备 的 程序 单元 设计 应 能 预见 出 错 的 条 件 ， 对 可 能 出 现 
的 错误 能 够 进行 适当 的 处 理 。 要 检查 单元 错误 处 理 部 分 是 否 存在 以 下 错误 或 缺陷 :对 出 错 
的 描述 不 清 ， 且 难以 对 错误 进行 定位 及 分 析 原因 显示 的 错误 与 实际 出 现 的 错误 不 一 致 ; 
对 错误 条 件 的 处 理 不 正确 ， 错 误 条 件 的 发 生 在 该 错误 处 理 之 前 就 已 经 引起 了 系统 异常 等 。 

(2) 边界 测试 。 软 件 通常 最 容易 在 边界 上 出 现 错误 ， 包 括 : 在 程序 单元 中 存在 一 个 n 
次 循环 ， 在 达到 第 次 重复 时 可 能 会 发 生 错 误 ， 当 允许 最 大 值 或 最 小 值 时 出 现 错误 等 。 所 
以 ， 要 特别 注意 数据 结构 、 控 制 流 、 数 值 使 用 恰好 小 于 、 等 于 、 大 于 最 大 和 最 小 值 时 出 现 
的 错误 。 

(3) 软件 单元 在 不 同 语言 或 不 同 操作 系统 环境 下 被 调用 时 的 正确 性 ; 
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(4) 软件 单元 的 资源 占用 、 运 行 时 间 、 响 应 时 间 等 测试 。 
3.2.2 ”进入 单元 测试 的 条 件 


口 已 经 按 要 求 编写 好 “软件 详细 设计 文档 ” ; 
口 ”软件 单元 的 程序 源 代码 无 错误 地 通过 编译 或 汇编 ; 
口 ”单元 代码 已 通过 静态 检查 。 


3.2.3 ”单元 测试 的 方法 


单元 测试 一 般 采 用 白 盒 测试 方法 ， 辅 之 以 黑 盒 测试 方法 。 其 中 包括 : 逻辑 履 盖 、 语 名 
缆 盖 、 判 定 团 盖 、 条 件 履 盖 、 判 定 一 条 件 履 盖 、 条 件 组 合 履 盖 、 路 径 履 盖 等 内 容 。 

软件 的 白 盒 测试 是 对 程序 的 过 程 细 节 做 严密 的 检查 。 这 种 测试 方法 是 把 被 测 对 象 看 成 
一 个 透明 的 玻璃 盒子 ， 它 允许 测试 人 员 利 用 程序 内 部 的 逻辑 结构 和 相关 信息 ， 设 计 或 选择 
特定 的 测试 用 例 ， 对 程序 的 逻辑 路 径 进 行 测试 ， 在 不 同 的 节点 检验 程序 的 状态 ， 以 确定 实 
际 的 状态 是 否 与 预期 的 状态 一 臻 。 所 以 ， 白 盒 测试 也 称 为 结构 测试 或 逻辑 驱动 测试 。 白 盒 
测试 依据 程序 设计 的 控制 结构 导出 测试 用 例 。 使 用 白 盒 测试 方法 主要 是 对 程序 单元 进行 检 
查 ， 所 产生 的 测试 用 例 应 保证 每 个 单元 中 的 所 有 独立 路 径 至 少 被 一 个 测试 用 例 所 覆盖 ， 对 
所 有 的 逻辑 判定 值 ， 取 “ 真 (true)” 和 “ 假 (false)” 至 少 各 测试 一 次 ; 在 上 下 边界 及 可 操 
作 范 围 内 执行 循环 体 ; 检查 内 部 结构 的 有 效 性 等 。 但 对 于 一 个 具有 多 重 选择 判别 和 循环 堪 
套 的 程序 ， 不 同 的 路 径 数目 可 能 是 一 个 天 文 数字 ， 即 使 很 小 的 程序 ， 可 能 的 逻辑 路 径 数量 
也 非常 大 。 
由 此 可 以 看 出 ， 穷 举 测 试 由 于 工作 量 太 大 ， 测 试 所 需要 的 时 间 过 长 ， 真 正 实施 起 来 是 
极为 不 现实 的 。 实 际 上 对 于 任何 软件 项 目的 开发 都 会 受到 时 间 、 经 费 、 人 力 和 环境 等 资源 
的 制约 ， 要 想 利用 所 有 数据 输入 进行 测试 ， 以 充分 揭露 程序 中 隐藏 的 全 部 错误 和 缺陷 是 不 
可 能 的 。 然 而 ， 白 盒 测 试 中 ， 可 以 选择 有 限 数量 的 重要 路 径 进 行 测试 ， 从 数量 极 大 的 可 以 
利用 的 测试 用 例 中 精心 挑选 少量 的 、 有 限 的 实施 测试 ， 使 得 通过 这 些 测试 用 例 的 测试 ， 能 
够 达到 最 佳 的 测试 结果 ， 即 以 最 小 的 测试 用 例 集 ， 发 现 最 多 的 错误 。 


3.2.4 ”单元 测试 具体 要 求 


(1) 在 对 程序 单元 进行 动态 测试 之 前 ， 必 须 对 程序 单元 的 源 代码 进行 静态 分 析 、 代 码 
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审查 和 其 他 形式 的 审查 ; 

(2) 对 程序 单元 接口 测试 要 检查 进出 程序 单元 的 数据 流 是 否 正确 ; 

(3) 被 测 程序 单元 中 每 条 可 执行 的 语句 〈 或 指令 ) 都 被 测试 用 例 或 一 个 被 认可 的 异常 
所 莉 盖 。 即 语句 缠 盖 100%; 

(4) 控制 结构 中 的 所 有 独立 路 径 (基本 路 径 〉 都 要 执行 一 遍 ( 测 试 的 分 支 宁 盖 率 要 求 
一 般 在 85% 以 上 ， 对 可 靠 性 和 安全 性 等 级 要 求 高 的 程序 单元 ， 应 该 至 少 达到 95% 以 上 ); 

(5) 每 个 软件 特性 必须 被 一 个 测试 用 例 和 一 个 被 认可 的 异常 所 窗 盖 ; 

(6) 测试 用 例 必须 包含 至 少 一 个 有 效 等 价 类 值 、 无 效 等 价 类 值 和 边界 数据 值 作为 测试 
输入 ， 要 确保 程序 单元 在 极限 状态 下 仍 能 够 正确 执行 ; 

(7) 在 面向 对 象 的 程序 设计 中 ， 类 可 以 作为 计算 机 程序 单元 测试 的 单位 。 对 于 类 的 每 
个 操作 的 测试 内 容 ， 可 参考 “3.2.1 单元 测试 内 容 ”。 对 于 类 的 属性 和 操作 之 间 的 相互 影响 ， 
需要 设计 新 的 测试 用 例 进行 测试 。 

最 后 ， 需 要 对 所 有 程序 单元 中 处 理 错 误 的 路 径 进行 测试 ， 保 证 在 出 现 问 题 时 软件 单元 
能 够 正确 处 理 。 


3.2.5 “单元 测试 实施 步骤 


软件 单元 测试 基本 步骤 是 : 

(1) 制定 《软件 单元 测试 计划 》。 按 照 国家 有 关 软 件 标准 或 行业 软件 规范 中 的 相应 要 
求 ， 拟 制 软件 单元 测试 计划 。 

(2) 编写 《软件 单元 测试 说 明 》。 按 照 国家 有 关 软 件 标准 或 行业 软件 规范 中 的 相应 要 
求 ， 编 写 软件 单元 测试 说 明 ， 对 每 一 个 测试 用 例 进行 详细 的 定义 和 描述 。 同 时 ， 要 完成 执 
行 测试 用 例 所 需要 的 测试 环境 的 准备 工作 。 

(3) 建立 程序 驱动 模块 和 桩 模块 。 由 于 软件 单元 往往 并 不 是 一 个 可 以 独立 运行 的 程序 
单元 ， 在 单元 测试 的 时 候 ， 要 同时 考虑 与 外 界 的 联系 ， 这 就 需要 用 一 些 辅助 模块 ， 即 驱动 
模块 (driver) 和 桩 模块 《stub )， 来 模拟 与 被 测试 的 程序 单元 有 联系 的 其 他 部 分 。 驱 动 模块 
和 桩 模块 在 软件 测试 过 程 中 是 必须 开发 的 ， 具 有 一 定 的 工作 量 ， 并 且 又 不 能 作为 最 终 软件 

品 一 起 提交 。 单 元 测试 中 所 用 到 的 驱动 模块 和 桩 模块 经 常 并 不 只 是 “简单 ”的 额外 软件 。 
为 了 能 够 正确 的 进行 单元 测试 ， 它 们 可 能 需要 模拟 真实 程序 模块 的 功能 ， 因 此 ， 要 建立 好 
桩 模块 也 不 是 一 件 简单 的 事情 。 
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(4) 执行 软件 单元 测试 。 按 照 《 软 件 单元 测试 计划 》 和 《软件 单元 测试 说 明 》 对 软件 
单元 进行 测试 ， 并 详细 记录 执行 信息 。 根 据 每 个 测试 用 例 的 期 望 测试 结果 、 实 际 测试 结果 
和 评价 准则 ， 判 定 该 测试 用 例 是 否 通过 。 在 测试 过 程 中 ， 应 填写 “软件 测试 记录 ” 表 。 如 
果 发 现 软件 问题 ， 应 填写 “软件 问题 报告 单 ”。 

(5) 修改 单元 测试 过 程 中 发 现 的 问题 。 修 改 程序 单元 的 问题 要 有 受 控 措 施 ， 应 先 填写 
“软件 更 动 报告 单 ”， 在 得 到 同意 的 答复 之 后 由 程序 设计 人 员 进 行程 序 的 修改 (包括 软件 文 
档 、 程 序 和 数据 等 的 全 面 修 改 )。 在 修改 完成 之 后 ， 必 须 进 行 回归 测试 ， 直 至 软件 单元 测试 
通过 准则 的 要 求 为 止 。 

(6) 编制 “软件 单元 测试 报告 >。 当 具体 的 软件 单元 测试 工作 完成 之 后 ， 依 照 《 软 件 
单元 测试 计划 六 《软件 单元 测试 说 明 》 《软件 单元 测试 记录 》 对 测试 结果 进行 统计 、 分 析 


和 评估 ， 在 此 基础 上 按照 国家 有 关 软 件 标准 或 行业 软件 规范 中 的 相应 要 求 ， 编 制 《 软 件 单 
元 测试 报告 》。 


(7) 软件 单元 测试 阶段 评审 。 在 软件 单元 测试 阶段 工作 全 部 完成 之 后 ， 应 组 织 本 测试 
阶段 的 评审 。 当 软件 项 目 规模 比较 小 的 时 候 ， 单 元 测试 的 步骤 可 以 简化 。 


3.2.6 单元 测试 通过 准则 


软件 单元 测试 通过 的 准则 : 

(1) 实际 测试 过 程 遵循 了 原 定 的 《软件 单元 测试 计划 》 和 《软件 单元 测试 说 明 》; 

(2) 测试 禾 盖 符合 相应 的 规定 或 要 求 ; 

(3) 软件 单元 测试 中 发 现 的 所 有 问题 已 作 了 客观 、 详 细 的 记录 ; 

(4) 软件 单元 测试 的 过 程 始 终 在 配置 管理 控制 之 下 进行 。 软 件 问题 修改 符合 更 动 规程 
要 求 ; 

(5) 软件 单元 测试 中 发 现 的 所 有 问题 已 做 了 应 有 的 处 理 并 通过 了 回归 测试 , 或 者 给 出 
合理 解释 ; 

(6) 完成 了 单元 测试 阶段 的 《软件 单元 测试 报告 》; 

(7) 全 部 的 软件 单元 测试 文档 、 测 试用 例 、 测 试 记录 、 被 测 程序 等 齐全 ， 符 合 规范 ， 
均 已 置 于 软件 配置 管理 之 下 。 

软件 单元 测试 是 整个 软件 测试 的 第 一 步 。 由 于 程序 单元 一 般 规模 较 小 , 便于 查找 问题 、 
准确 定位 、 纠 正 错误 ， 同 时 也 可 以 为 多 个 程序 单元 并 行 地 进行 测试 ， 所 以 做 好 软件 单元 的 
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测试 ， 将 会 对 后 续 的 测试 工作 黄 定 良好 的 基础 。 


3.3 集成 测试 


软件 集成 测试 也 称 做 软件 组 装 测试 ， 通 常 是 在 单元 测试 的 基础 上 ， 把 程序 的 基本 单元 
按照 软件 结构 设计 要 求 ， 组 装 成 软件 系统 。 根 据 软件 项 目 规模 的 大 小 ， 可 以 将 软件 的 集成 
测试 细 分 为 : 部 件 〈 或 构件 ) 测试 和 配置 项 〈 或 子 系统 ) 测试 ， 逐 步 组 装 成 一 个 可 以 运行 
的 软件 系统 。 


3.3.1 


集成 测试 的 内 容 


计算 机 软件 集成 测试 主要 是 验证 软件 单元 的 组 装 过 程 和 组 装 得 到 的 软件 系统 或 分 系 
统 。 软 件 集 成 测试 主要 依据 软件 结构 设计 概要 设计 ) 文档 ， 测 试 主要 内 容 有 功能 性 、 可 
靠 性 、 易 用 性 、 效 率 、 维 护 性 和 可 移植 性 中 相关 的 部 分 ， 根 据 软 件 需求 和 设计 的 要 求 而 选 
定 。 软 件 集 成 测试 是 通过 发 现 与 程序 模块 接口 有 关 的 问题 ， 构 造 一 个 在 概要 设计 中 所 描述 


的 程序 结 


构 。 


软件 集成 测试 具体 内 容 包 括 : 
(1) 功能 性 测试 


口 
口 


口 


口 


口 


口 


程序 的 功能 测试 。 检 查 各 个 子 功能 组 合 起 来 能 耕 达到 设计 所 要 求 的 功能 。 
一 个 程序 单元 或 模块 的 功能 是 否 会 对 另 一 个 程序 单元 或 模块 的 功能 产生 不 利 


影响 。 

根据 计算 精度 要 求 ， 单 个 程序 模块 的 误差 积累 起 来 ， 是 否 仍 能 够 达到 要 求 的 技术 
指标 。 

程序 单元 或 模块 之 间 的 接口 测试 。 把 各 个 程序 单元 或 模块 连接 起 来 时 ， 数 据 在 通 
过 其 接口 时 是 否 丢 失 。 

全 局 数据 结构 的 测试 。 检 查 各 个 程序 单元 或 模块 所 用 到 的 全 局 变量 是 否 一 致 、 
合理 。 


对 程序 中 可 能 有 的 特殊 安全 性 要 求 进行 测试 。 


(2) 可 靠 性 测试 
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根据 软件 需求 和 设计 中 提出 的 要 求 ， 对 软件 的 容错 性 、 易 恢复 性 、 错 误 处 理 能 力 进行 
测试 。 

(3) 易 用 性 测试 

根据 软件 设计 中 提出 的 要 求 ， 对 软件 的 易 理解 性 、 易 学 性 和 易 操作 性 进行 检查 和 测试 。 

(4) 效率 测试 

根据 软件 需求 和 设计 中 提出 的 要 求 ， 进 行 软件 的 时 间 特 性 、 资 源 特性 测试 。 

(5) 维护 性 测试 

根据 软件 需求 和 设计 中 提出 的 要 求 ， 对 软件 的 易 修改 性 进行 检查 和 测试 。 

(6) 可 移植 性 测试 

根据 软件 需求 和 设计 中 提出 的 要 求 ， 对 软件 在 不 同 操作 系统 环境 下 被 使 用 的 正确 性 进 
行 测试 (如 果 在 需求 规格 说 明 中 对 可 移植 性 没有 要 求 ， 此 项 测试 可 以 不 做 )。 


3.3.2 ”集成 测试 适应 对 象 


任意 一 个 程序 单元 集成 到 计算 机 软件 系统 中 的 组 装 过 程 。 
3.3.3 ”集成 测试 的 进入 条 件 
口 “完成 软件 单元 测试 ; 


口 ”被 测 软件 源 代码 无 错误 地 通过 编译 或 汇编 ， 并 置 于 软件 配置 管理 之 下 ; 
口 ”已 建立 起 必要 的 软件 集成 测试 环境 。 


3.3.4 ”集成 测试 的 方法 


软件 集成 测试 一 般 采 用 黑 盒 测试 方法 ， 辅 之 以 白 盒 测 试 方法 。 其 中 包括 : 等 价 类 划分 、 
边界 值 分 析 、 错 误 推 测 方法 、 因 果 图 等 。 

软件 集成 测试 是 对 应 于 软件 概要 设计 阶段 的 测试 ， 它 要 求 尽 可 能 地 暴露 程序 单元 或 模 
块 间接 口 和 软件 设计 上 的 错误 和 缺陷 ， 确 保 程序 单元 或 模块 间接 口 正确 和 软件 结构 合理 。 
常用 的 集成 测试 方式 有 两 种 : 非 增 量 式 组 装 测试 方式 和 增 量 式 组 装 测试 方式 。 

1. 非 增 量 式 组 装 测试 方式 

非 增 量 式 组 装 测试 也 称 为 一 次 性 组 装 测试 或 非 渐 增 式 测 试 方式 。 采 用 这 种 测试 方式 ， 
首先 分 别 对 每 个 程序 模块 进行 测试 ， 然 后 ， 再 把 所 有 模块 按照 设计 要 求 组 装 到 一 起 进行 测 
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试 ， 最 终 形成 所 要 得 到 的 软件 系统 。 例 如 ， 有 一 个 软件 结构 ， 如 图 3.2 〈a) 所 示 ， 单 元 测 
试 及 组 装 顺序 如 图 3.2 (b) 所 示 。 


图 3.2 非 增 量 式 组 装 测试 方式 


(b) 


为 了 对 C、B、D、E 进行 测试 所 建立 的 didzd3ds 为 驱动 模块 ， 而 S1S2S3S4 为 桩 模块 。 
非 增 量 式 组 装 方式 的 主要 优点 是 可 以 并 行 开展 对 所 有 模块 的 测试 工作 ， 能 充分 利用 人 力 
加 快 工程 进度 ， 缺 点 是 接口 错误 发 现 的 比较 晚 ， 而 且 一 下 子 把 所 有 模块 组 合 到 一 起 ， 出 现 
错误 时 难以 诊断 定位 。 

2. 增 量 式 组 装 测试 方式 

增 量 式 组 装 测试 方式 也 称 为 渐 增 式 组 装 测试 方式 。 该 方式 首先 对 每 一 个 程序 模块 进行 
测试 ， 然 后 将 这 些 模块 逐步 组 装 成 为 软件 系统 。 在 模块 组 装 过 程 中 边 连 接 边 测试 ， 及 时 发 
现 软件 单元 在 连接 过 程 中 发 生 的 各 种 问题 ， 逐 步 集成 为 满足 要 求 的 软件 系统 或 分 系统 。 

增 量 式 组 装 测试 方式 的 主要 优点 是 : 可 以 利用 已 被 组 装 测试 过 的 模块 或 构件 ， 作 为 下 
一 步 软件 测试 的 部 分 测试 程序 ， 能 够 及 时 地 发 现 模块 间 的 接口 错误 。 如 果 测 试 中 发 现 问题 ， 
则 这 个 问题 经 常 是 与 最 新 加 进来 的 那个 模块 或 构件 有 关 ， 便 于 错误 定位 。 该 方法 把 已 经 测 
试 好 的 程序 模块 同 新 加 入 的 那个 程序 模块 一 起 测试 ， 对 前 者 可 以 在 新 的 条 件 下 受到 更 新 的 
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检验 ， 因 而 对 程序 的 测试 更 彻底 。 增 量 式 测试 方法 由 于 测试 每 个 模块 或 构件 时 ， 所 有 已 被 
测试 过 的 部 分 都 要 重新 跟着 一 起 执行 ， 对 于 规模 较 大 的 程序 则 需要 增加 较 多 的 计算 机 执行 
时 间 ， 随 着 计算 机 硬件 的 发 展 ， 这 一 缺点 已 经 不 明显 了 。 所 以 ， 增 量 式 测试 方式 是 一 种 比 
较 可 行 的 测试 方法 。 

使 用 增 量 测试 方式 时 ， 有 自 顶 向 下 和 自 底 向 上 两 种 方法 。 

(1) 自 顶 向 下 组 装 测试 方法 

自 项 向 下 组 装 测试 方法 是 一 种 广泛 采用 的 组 装 测试 软件 的 途径 ， 它 是 将 模块 按照 系统 
结构 ， 沿 着 控制 层次 自 顶 向 下 移动 ， 从 而 逐渐 把 各 个 模块 组 装 起 来 的 过 程 测试 。 主 要 步 又 : 

第 1 步 : 从 主 控制 模块 〈 主 程序 ) 开始， 以 它 作 为 被 测 模块 兼 驱 动 模块 ， 将 直接 与 主 
控制 模块 联系 的 下 层 模块 全 部 用 桩 模块 代替 ， 对 主 控制 模块 进行 测试 。 

第 2 步 : 按照 选 定 的 深度 优先 (如 图 3.3 所 示 ) 或 宽度 优先 的 策略 ,每 次 用 一 个 实际 的 
模块 替换 相应 的 桩 模块 ， 再 用 桩 模块 代替 它 的 直接 下 属 模块 ， 同 已 经 测试 的 程序 模块 、 构 
件 或 分 系统 组 成 新 的 系统 。 


图 3.3” 自 项 向 下 组 装 测试 的 例子 (深度 优先 策略 》 


第 3 步 : 每 加 入 一 个 模块 或 构件 的 同时 进行 测试 ， 排 除 组 装 过 程 中 可 能 引入 的 错误 和 
缺陷 。 如 果 测 试 发 现 错误 和 缺陷 ， 则 要 在 程序 修改 以 后 进行 回归 测试 〈 全 部 或 部 分 重复 以 
前 做 过 的 测试 ， 也 可 以 根据 情况 补充 一 些 新 的 测试 )。 

第 4 步 : 判断 系统 的 组 装 测试 是 否 全 部 完成 ， 若 完成 则 结束 测试 ， 否 则 转 到 第 2 步 重 
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新 执行 。 

自 顶 向 下 的 组 装 测试 能 够 在 测试 的 早期 对 主要 的 控制 和 判断 点 进行 验证 。 在 一 个 功能 
划分 合理 的 软件 结构 中 ， 判 断 经 常 出 现在 系统 的 较 高 层次 里 ， 因 此 会 较 早 的 碰 到 。 如 果 主 
要 控制 确实 有 问题 ， 尽 早 发 现 可 以 及 早 想 办 法 解决 ， 减 少 以 后 的 返工 。 若 选用 按 深度 优先 
的 组 装 测试 策略 ， 可 以 首先 实现 软件 的 一 个 完整 分 系统 ， 并 且 验 证 这 个 分 系统 功能 。 

自 项 向 下 的 组 装 和 测试 看 似 简单 ， 实 际 使 用 中 存在 逻辑 上 的 问题 。 常 见 的 是 为 了 充分 
地 测试 系统 较 高 层次 的 处 理 ， 而 需要 较 低 层次 处 理 的 信息 ， 然 而 在 自 顶 向 下 测试 的 早期 ， 
桩 模块 代替 了 低层 的 真实 模块 ， 造 成 了 在 程序 结构 中 没有 自 底 向 上 的 数据 流 。 所 以 ， 实 际 
测试 时 可 以 把 有 些 测 试 推迟 到 用 真实 模块 蔡 代 了 桩 模块 之 后 青 进行 测试 。 

(2) 自 底 向 上 的 组 装 测试 方法 

自 底 向 上 的 组 装 测试 方法 是 从 程序 结构 的 最 底层 的 模块 开始 组 装 和 测试 。 由 于 是 从 底 
部 向 上 进行 组 装 ， 对 于 给 定 的 某 个 层次 的 模块 测试 ， 总 能 够 获得 需要 的 下 层 模块 处 理 功能 
和 信息 ， 因 此 不 需要 桩 模块 ， 由 直接 运行 本 层 的 程序 模块 就 可 以 。 图 3.4 描绘 了 自 底 向 上 的 
组 装 测试 过 程 。 


图 3.4 自 底 向 上 组 装 测试 例子 
自 底 向 上 组 装 测试 的 具体 步骤 : 
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第 1 步 : 分 别 用 驱动 模块 控制 每 一 个 最 底层 程序 模块 ， 实 施 并 行 测试 ， 也 可 以 把 最 底 
层 模块 组 合成 实现 某 一 个 特定 软件 子 功能 的 软件 部 件 〈 或 构件 )， 由 测试 驱动 模块 协调 测试 
数据 的 输入 和 输出 ， 进 行 软件 部 件 测试 。 

第 2 步 : 用 真实 模块 代 蔡 驱动 模块 ， 与 它 已 通过 测试 的 下 属 模 块 组 装 成 为 软件 分 系统 。 

第 3 步 : 为 软件 分 系统 配备 驱动 模块 ， 进 行 新 的 测试 。 

第 4 步 : 判断 程序 组 装 测试 过 程 是 否 完成 〈《 即 到 达 主 模块 )， 如 果 全 部 完成 则 结束 组 装 
测试 ， 否则 继续 执行 第 2 步 操作 ， 沿 着 程序 结构 自 底 向 上 移动 ， 把 分 系统 组 合成 更 大 的 分 
系统 ， 直 到 软件 系统 组 装 完成 。 

综 上 所 述 ， 自 顶 向 下 组 装 测试 方式 的 优点 是 能 够 较 早 地 发 现在 主要 控制 方面 的 问题 ， 
缺点 是 需要 建立 桩 模块 ， 并 且 随 着 组 装 层次 的 向 下 移动 ， 桩 模块 逐渐 增加 。 而 自 底 向 上 组 
装 测试 方式 的 优点 不 需要 桩 模块 ， 而 建立 驱动 模块 一 般 比 建立 桩 模块 容易 ， 并 且 随 着 组 装 
层次 的 向 上 移动 ， 驱 动 模块 逐渐 减少 ， 同 时 由 于 涉及 到 复杂 算法 和 真正 输入 /输出 的 模块 最 
先 得 到 组 装 和 测试 ， 可 以 把 这 些 容易 出 问题 的 部 分 在 早期 解决 ;此 外 自 底 向 上 组 装 测试 方 
式 可 以 实施 多 个 模块 的 并 行 测试 ， 以 提高 测试 效率 。 自 底 向 上 组 装 测试 方式 的 缺点 是 对 主 
要 控制 直到 最 后 才 接 触 到 。 所 以 两 种 组 装 测试 方式 的 优 缺 点 恰好 相反 ， 在 实际 进行 软件 组 
装 测试 的 过 程 中 ， 可 以 根据 软件 项 目的 特点 和 进度 安排 ， 选 择 适 当 的 组 装 测试 策略 。 现 在 
也 出 现 了 诸如 “改进 的 自 顶 向 下 测试 方法 ”“ 混 合 增殖 式 测试 方法 ”等 。 


3.3.5 ”集成 测试 的 具体 要 求 


(1) 对 于 程序 单元 或 模块 等 之 间 的 “调用 对 ”必须 进行 100% 的 测试 覆盖 ; 

(2) 软件 要 求 的 每 个 特性 必须 被 至 少 一 个 测试 用 例 或 一 个 被 认可 的 异常 所 覆盖 ; 

(3) 测试 用 例 必须 包含 至 少 一 个 有 效 等 价 类 值 、 无 效 等 价 类 值 和 边界 数据 值 作为 测 
试 输入 ; 

(4) 对 软件 的 输入 /输出 处 理 进行 测试 ， 检 查 其 是 否 达到 设计 要 求 ; 

(5) 对 软件 的 正确 处 理 能 力 和 对 错误 影响 的 处 理 能 力 进行 测试 

(6) 确认 程序 单元 或 模块 等 无 错误 连接 的 测试 ; 

(7) 根据 需求 和 设计 ， 应 测试 在 任意 外 部 输入 情况 下 ， 从 外 部 接口 采集 和 发 送 数 据 
的 能 力 ， 包 括 对 正常 数据 及 状态 的 处 理 ， 对 接口 错误 、 数 据 错 误 、 协 议 错 误 的 识别 及 处 理 。 
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3.3.6 ”集成 测试 的 实施 步骤 


软件 集成 测试 实施 的 基本 步骤 : 

(1) 制定 《软件 集成 测试 计划 》。 按 照 国家 有 关 软 件 标准 或 行业 软件 规范 中 的 相应 要 
求 ， 拟 制 软件 集成 测试 计划 。 

(2) 编写 《软件 集成 测试 说 明 》。 按 照 国家 有 关 软 件 标准 或 行业 软件 规范 中 的 相应 要 
求 ， 编 写 软件 集成 测试 说 明 ， 对 每 一 个 测试 用 例 进行 详细 的 定义 和 说 明 。 同 时 ， 要 完成 执 
行 测试 用 例 所 需要 的 测试 环境 、 测 试 软件 的 准备 工作 。 

(3) 执行 软件 集成 测试 。 按 照 《 软 件 集成 测试 计划 》 和 《软件 集成 测试 说 明 》 对 软件 
进行 测试 ， 并 详细 记录 执行 信息 。 根 据 每 个 测试 用 例 的 期 望 测 试 结果 、 实 际 测试 结果 和 评 
价 准则 ， 判 定 该 测试 用 例 是 否 通 过 。 在 测试 过 程 中 ， 应 填写 《软件 集成 测试 记录 》。 如 果 发 
现 软件 问题 ， 应 填写 《软件 问题 报告 单 》。 

(4) 修改 软件 集成 测试 过 程 中 发 现 的 问题 。 修 改 软件 问题 要 有 受 控 措施 , 应 先 填写 《 软 
件 更 动 报告 单 》 在 得 到 同意 的 答复 之 后 进行 软件 的 修改 〈 包 括 软件 文档 、 程 序 和 数据 等 的 
全 面 修改 )。 修 改 完成 之 后 ， 必 须 进行 回归 测试 ， 直 至 软件 达到 通过 准则 的 要 求 。 

(5) 编制 《软件 集成 测试 报告 》。 当 具体 的 软件 集成 测试 工作 完成 之 后 ， 依 照 《软件 
集成 测试 计划 六 《软件 集成 测试 说 明 》《 软 件 集成 测试 记录 》 对 测试 结果 进行 统计 、 分 析 
和 评估 ， 在 此 基础 上 按照 国家 有 关 软 件 标准 或 行业 软件 规范 中 的 相应 要 求 ， 编 制 软件 集成 
测试 报告 。 

(6) 软件 集成 测试 阶段 评审 。 在 软件 集成 测试 阶段 工作 全 部 完成 之 后 ， 应 组 织 本 测试 
阶段 的 评审 。 


3.3.7 ”集成 测试 通过 准则 


软件 集成 测试 ， 通 常 要 遵循 如 下 一 些 测 试 通过 准则 : 

(1) 实际 测试 过 程 遵循 了 《软件 集成 测试 计划 》 和 《软件 集成 测试 说 明 》; 

(2) 软件 集成 测试 覆盖 面 符 合 相应 的 规定 或 要 求 ; 

(3) 在 软件 集成 测试 中 发 现 的 所 有 问题 已 做 了 客观 、 详 细 的 记录 ; 

(4) 软件 集成 测试 的 过 程 始终 在 软件 配置 控制 之 下 进行 。 软 件 问 题 修改 符合 更 动 规 
程 要 求 ; 
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(5) 软件 集成 测试 中 发 现 的 所 有 问题 已 做 了 应 有 的 处 理 并 通过 了 回归 测试 , 或 者 给 出 
了 合理 解释 ; 

(6) 完成 了 软件 集成 测试 阶段 的 《软件 集成 测试 报告 》; 

(7) 软件 集成 测试 的 全 部 测试 文档 、 测 试用 例 、 测 试 记录 、 被 测 程序 等 齐全 ， 符 合 规 
范 ， 均 已 置 于 软件 配置 管理 之 下 。 


3.4 系统 测试 


软件 系统 测试 是 基于 一 定 的 计算 机 硬件 环境 ， 对 整个 软件 进行 的 一 系列 测试 。 它 应 根 
据 软 件 项 目 系统 级 的 有 关 文 档 〈《 如 系统 设计 文档 、 软 件 开 发 任务 书 、 软 件 开发 技术 合同 、 
软件 需求 规格 说 明 等 )， 开 展 软件 系统 测试 工作 。 系 统 测试 是 将 已 经 通过 集成 测试 的 软件 与 
具有 一 定 代表 性 的 计算 机 实用 环境 相 结合 ， 主 要 检查 软件 系统 自身 存在 的 错误 和 缺陷 ， 检 
查 软 件 与 系统 定义 不 符合 或 与 之 矛盾 的 错误 ， 检 查 软 件 与 需求 的 符合 性 ， 检 验 并 确认 软件 
在 整个 系统 中 功能 、 性 能 的 正确 性 。 


3.4.1 系统 测试 内 容 


软件 系统 测试 主要 是 检验 新 开发 的 软件 系统 是 否 满足 “系统 / 子 系统 设计 文档 ”、“ 软 件 
开发 任务 书 ”“ 软 件 开发 技术 合同 书 ”“ 软 件 需 求 规格 说 明 ” 规 定 的 功能 和 性 能 要 求 。 根 
据 软 件 系 统 的 安全 性 等 级 要 求 和 软件 规模 大 小 ， 有 选择 地 进行 系统 的 功能 性 、 系 统 的 可 靠 
性 、 系 统 的 易 用 性 、 系 统 的 效率 、 系 统 的 维护 性 、 系 统 的 可 移植 性 测试 ， 确 认 和 验证 整个 
软件 系统 是 否 达到 了 规定 的 要 求 。 

1. 功能 性 测试 

软件 系统 的 功能 性 测试 包括 : 适合 性 测试 、 准 确 性 测试 、 互 操作 性 测试 、 依 从 性 测试 
和 安全 性 测试 的 内 容 。 

(1) 适合 性 

口 ”验证 在 软件 系统 的 “需求 规格 说 明 ” 中 ， 是 否 做 了 没有 指明 要 求 做 的 功能 (有 时 

也 称 为 功能 多 余 物 )， 以 及 功能 边界 不 准确 的 问题 是 否 存在 。 系 统 的 所 有 输出 都 应 
有 意义 ， 并 在 “需求 规格 说 明 ” 中 指明 ; 
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口 “在 预先 规定 的 一 个 时 间 内 ， 在 系统 设计 能 力 的 极限 状态 及 超出 极限 状态 下 ， 运 行 
系统 的 所 有 功能 ， 验 证 系统 的 所 有 功能 是 否 正确 执行 〈 即 通常 所 说 的 强度 测试 或 
压力 测试 ); 

口 ”测试 系统 的 负载 潜力 。 

(2) 准确 性 

口 ”测试 软件 在 获得 定量 结果 时 程序 计算 的 精确 性 ; 

口 ”测试 软件 输出 信息 的 准确 性 。 

(3) 互 操作 性 

口 根据 需求 ， 测 试 在 网 络 系统 中 进行 交互 的 能 力 ， 检 查 系 统 是 否 能 与 其 他 系统 进行 
规定 的 互 操作 ; 

口 ”测试 系统 的 所 有 外 部 接口 ， 检 查 系统 处 理 外 部 接口 信息 格式 和 内 容 的 能 力 ; 

口 测试 人 -机 交互 界面 的 正确 性 和 处 理 错 误 操 作 的 能 力 。 

更 深入 的 互 操作 性 测试 的 内 容 ， 在 第 7 章 专 门 研究 。 

(4) 依从 性 

口 ”对 系统 是 否 遵循 有 关 的 软件 标准 、 约 定 、 法 规 及 有 关 规 定 进行 审查 和 测试 ; 

口 ” 对 系统 处 理 规定 的 输入 /输出 信息 格式 的 正确 性 和 处 理 错误 信息 格式 的 能 力 进行 测 
试 。 

(5) 安全 性 

根据 需求 ， 对 系统 中 的 程序 和 数据 进行 非 授 权 的 故意 或 意外 访问 的 能 力 进行 测试 。 

2. 可 靠 性 测试 

软件 系统 的 可 靠 性 测试 包括 : 成 熟 性 测试 、 容 错 性 测试 和 易 恢 复 性 测试 的 内 容 。 可 靠 

性 测试 更 详细 的 内 容 ， 在 第 5 章 专 门 进行 研究 。 

(1) 成 熟 性 

选择 适合 的 可 靠 性 估计 模型 ， 在 软件 测试 中 详细 收集 可 靠 性 估计 模型 所 需 的 信息 ， 用 

软件 失效 数据 对 软件 故障 引起 的 失效 频 度 进行 分 析 评 估 。 

(2) 容错 性 

口 根据 系统 的 功能 容错 需求 和 功能 容错 设计 ， 在 系统 或 系统 的 某 些 部 分 出 现 一 定 程 
度 的 问题 时 ， 测 试 系统 能 维持 规定 功能 和 性 能 水 平 的 能 

口 根据 系统 的 接口 容错 需求 和 接口 容错 设计 ， 在 这 些 接 口 出 现 一 定 限度 的 信息 错误 
或 一 定 限度 的 接口 功能 错误 时 ， 测 试 其 系统 处 理 错 误 ， 并 维持 接口 规定 功能 和 性 
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能 水 平 的 能 力 。 
(3) 易 恢 复 性 
口 对 于 有 恢复 (系统 自动 恢复 或 人 工 干 预 恢复 ) 或 重 置 (reset) 功能 需求 的 系统 ， 
测试 软件 系统 在 失效 发 生 后 ， 重 建 系统 有 恢复 直接 受 影响 数据 的 能 力 ， 对 每 一 类 
导致 恢复 或 重 置 的 情况 进行 测试 ; 
口 ”测试 软 件 系 统 在 失效 发 生 后 ， 重 建 系统 其 性 能 达到 规定 水 平 ， 并 恢复 直接 受 影响 
数据 所 需 时 间 是 否 满足 要 求 。 
(4) 可 靠 性 的 依从 性 
对 软件 产品 是 否 遵循 与 可 靠 性 相关 的 标准 、 约 定 或 法 规 进行 检查 和 测试 的 内 容 。 
3. 易 用 性 测试 
软件 系统 的 易 用 性 测试 包括 : 易 理解 性 、 易 学 性 和 易 操作 性 测试 。 
(1) 易 理 解 性 
审查 系统 与 使 用 相关 的 内 容 是 否 符合 规定 并 易于 阅读 和 理解 ， 例 如 ， 人 一 机 界面 、 系 
统 操作 员 手 册 、 软 件 程序 员 手 册 、 软 件 用 户 手册 等 。 
(2) 易学 性 
软件 操作 人 员 根 据 人 一 机 界面 、 帮 助 菜单 、 系 统 操作 员 手 册 、 软 件 程序 员 手 册 、 软 件 
用 户 手册 等 ， 对 软件 系统 进行 操作 ， 审 查 系统 的 易学 习 程 度 。 
(3) 易 操作 性 
口 ”测试 系统 的 所 有 人 一 机 交互 界面 提供 的 操作 、 显 示 界 面 和 帮助 菜单 ， 并 以 正确 操 
作 、 误 操作 、 快 速 操作 来 检查 界面 的 正确 性 和 识别 误 操 作 的 能 力 ， 以 最 终 用 户 为 
背景 检验 界面 显示 的 清晰 性 、 完 备 性 、 正 确 性 和 方便 性 ; 
口 ”按照 系统 操作 员 手 册 、 软 件 程序 员 手 册 、 软 件 用 户 手 册 等 逐条 进行 操作 和 检查 。 
4. 效率 测试 
软件 系统 的 效率 测试 包括 时 间 特 性 测试 和 资源 特性 测试 两 个 方面 的 内 容 。 
(1) 时 间 特 性 
在 规定 的 条 件 下 ， 测 试 软件 系统 完成 预定 任务 的 各 种 时 间 特 性 ; 测试 对 特定 功能 的 响 
应 时 间 、 处 理 时 间 及 完成 规定 输入 /输出 信息 量 的 时 间 等 。 
(2) 资源 特性 
在 规定 的 条 件 下 ， 测 试 系统 运行 占用 的 CPU 时 间 、 内 存 空 间 、 外 存 空间 、 网 络 容量 和 
接口 等 资源 ; 测试 系统 资源 的 余 量 是 否 满足 “软件 需求 规格 说 明 ” 的 要 求 。 
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5. 维护 性 测试 

软件 系统 的 易 维 护 性 测试 包括 : 易 分 析 性 、 易 改变 性 、 稳 定性 和 易 测试 性 4 个 方面 的 
测试 内 容 。 

(1) 易 分 析 性 

从 维护 系统 的 角度 ， 检 查 软 件 是 否 具 有 要 求 的 诊断 和 自 检 能 力 。 例 如 ， 当 软件 出 现 错 
误 时 ， 软 件 能 否 自身 发 现 错误 ， 并 把 错误 信息 记 入 日 志 ; 显示 的 错误 信息 是 否 准确 、 详 细 
根据 日 志 信 息 和 显示 的 错误 信息 ， 确 定 软 件 的 错误 原因 是 否 容易 等 。 

(2) 易 改 变性 

从 维护 系统 的 角度 ， 检 查 系统 的 内 部 结构 对 于 排除 错误 或 适应 环境 变化 进行 修改 的 难 
易 程 度 。 例 如 ， 程 序 模块 的 结构 是 否 合理 ， 功 能 是 否 独立 ， 界 面 是 否 简单 、 清 晰 等 。 

(3) 稳定 性 

从 维护 系统 的 角度 ， 对 于 修改 系统 中 的 任何 部 分 是 否 会 造成 不 可 预料 的 结果 进行 分 析 
和 评估 。 
(4) 易 测 试 性 
从 维护 系统 的 角度 ， 为 满足 新 的 要 求 ， 适 应 环境 发 生 的 变化 ， 改 正 发 现 新 错误 等 原因 
填 系 统 进 行 修改 ， 对 “确认 已 修改 软件 ”是 否 容易 进行 分 析 与 评估 等 。 
6. 可 移植 性 测试 
软件 系统 的 可 移植 性 测试 包括 : 适应 性 测试 、 易 安装 性 测试 、 道 循 性 测试 和 易 替 换 性 
测试 4 个 方面 的 内 容 。 

(1) 适应 性 

根据 需求 ， 对 软件 系统 是 否 能 适应 规定 的 多 种 环境 进行 测试 和 验证 。 例 如 ， 要 求 一 个 
软件 系统 能 在 Windows、Linux、Unix 等 环境 下 安装 和 运行 ， 这 个 软件 系统 就 必须 同时 适应 
这 3 个 不 同 的 操作 系统 。 

(2) 易 安 装 性 

验证 按 安装 规程 把 软件 系统 运行 需要 的 所 有 文件 装 入 计算 机 的 正确 性 ， 包 括 从 各 种 安 
装 媒体 装 入 计算 机 的 参数 、 文 件 的 内 容 和 位 置 是 否 正 确 。 安 装 测试 的 目的 不 是 找 软件 的 错 
误 ， 而 是 找 安装 的 错误 。 安 装 测试 一 般 有 两 种 方法 : 

口 “ 安装 之 后 运行 被 安装 软件 ， 检 查 安装 是 否 正确 ; 

口 “安装 之 后 检查 安装 在 计算 机 上 的 内 容 和 位 置 ， 并 运行 被 安装 软件 ， 检 验 安 装 是 否 

正确 。 


冯 
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最 后 ， 在 能 正确 安装 的 前 提 下 ， 还 要 分 析 和 评估 安装 过 程 是 否 容易 。 

(3) 遵循 性 

根据 系统 的 可 移植 性 要 求 ， 检 查 系统 是 否 符合 与 可 移植 性 相关 的 标准 或 约定 。 例 如 ， 
要 求 一 个 系统 的 部 分 或 全 部 软件 ， 能 被 CH+、Ada、Fortran、Pascal 等 编程 语言 所 调用 。 这 
些 软件 单元 必须 遵守 统一 的 接口 约定 。 

(4) 易 替 换 性 

根据 系统 的 蔡 换 性 需求 ， 对 系统 、 分 系统 、 模 块 或 程序 单元 ， 可 以 替换 其 他 软件 的 能 
力 和 可 行 性 进行 分 析 和 测试 。 


3.4.2 系统 测试 适用 的 对 象 


软件 系统 是 计算 机 系统 中 的 一 个 元 素 ， 完 成 集成 测试 后 的 软件 系统 ， 必 须 与 计算 机 系 
统 的 其 他 元 素 〈 计 算 机 硬件 、 支 持 软件 等 ) 相 结合 ， 进 行 系统 级 的 确认 与 验证 测试 。 

所 谓 确 认 (validation)， 是 一 系列 的 活动 和 过 程 ， 其 目的 是 想 证 实在 给 定 的 外 部 环境 下 
软件 的 逻辑 正确 性 。 静 态 确 认 一 般 不 在 计算 机 上 实际 执行 程序 ， 而 是 通过 人 工分 析 或 者 程 
序 正确 性 证 明 来 确认 程序 的 正确 性 ， 动态 确 认 主 要 通过 动态 分 析 和 程序 测试 来 检查 程序 的 
执行 状态 ， 以 确认 程序 是 否 有 问题 。 

所 谓 验证 (verification )， 是 试图 证 明 在 软件 生存 期 名 个 阶段 以 及 阶段 间 的 逻辑 协调 性 、 
完备 性 和 正确 性 。 

还 应 强调 一 点 ， 软 件 系统 测试 并 不 等 于 程序 系统 测试 。 软 件 所 包含 的 文档 、 程 序 和 数 
据 ， 都 应 成 为 软件 系统 测试 的 对 象 。 


3.4.3 ”系统 测试 进入 的 条 件 
口 “完成 并 通过 了 计算 机 软件 集成 测试 ; 
口 ”软件 系统 已 经 置 于 软件 配置 管理 之 下 《〈 即 软件 系统 的 文档 、 程 序 和 数据 都 已 经 
受 控 )。 


3.4.4 系统 测试 的 具体 要 求 


口 ” 实 际 测试 过 程 应 遵循 原 定 的 《软件 系统 测试 计划 》 和 《软件 系统 测试 说 明 》; 
口 ”详实 记录 测试 结果 ， 对 测试 中 发 现 的 软件 问题 ， 填 写 《 软 件 问题 报告 单 》; 
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对 测试 中 发 现 软件 问题 的 更 动 应 符合 控制 规程 ， 更 动 之 后 必须 进行 回归 测试 ; 
系统 的 每 一 个 软件 功能 必须 被 一 个 测试 用 例 或 一 个 被 认可 的 异常 所 获 盖 ; 

系统 的 每 一 个 软件 功能 必须 使 用 至 少 一 个 有 效 等 价 类 值 、 无 效 等 价 类 值 和 边界 数 
据 值 作为 测试 用 例 的 输入 进行 测试 ， 考 查 其 功能 的 正确 性 和 完备 性 ; 

在 安全 性 方面 应 测试 防止 非法 计算 机 软件 运行 的 能 力 ， 保 护 软件 系统 数据 完整 性 
能 力 ， 以 及 防止 误 操作 ， 验 证 软件 系统 对 这 些 错误 的 处 理 结果 ; 

对 于 可 能 导致 软件 运行 方式 改变 的 一 些 边界 条 件 和 环境 条 件 必须 进行 针对 性 
测试 ; 

除 在 正常 输入 条 件 下 的 测试 外 ， 还 应 在 异常 输入 条 件 下 测试 系统 ， 以 表明 不 会 因 
可 能 的 单个 或 多 个 输入 错误 而 导致 进入 不 可 靠 状态 ; 

对 有 要 求 在 系统 设计 能 力 的 极限 状态 及 超出 极限 状态 下 运行 系统 时 ， 必 须 进行 强 
度 测试 ， 验 证 系统 是 否 能 正确 执行 ; 

必须 包含 软件 系统 能 够 正常 运行 的 最 小 配置 测试 ， 以 确定 软件 系统 的 固有 能 力 及 
对 这 些 环境 的 适应 能 力 ; 

对 于 有 恢复 (系统 自动 恢复 或 人 工 干 预 恢复 ) 或 重 置 (reset) 功能 需求 的 系统 ， 
必须 测试 其 恢复 或 重 置 功能 ， 对 每 一 类 导致 恢复 或 重 置 的 情况 进行 测试 。 对 人 工 
王 预 恢复 的 情况 ， 还 要 考虑 平均 恢复 时 间 是 否 在 限定 范围 之 内 

全 部 测试 用 例 〈 包 括 测试 输入 数据 和 期 望 测试 结果 ) 和 实际 测试 结果 应 存档 保留 。 


系统 测试 的 方法 


系统 测试 ， 主 要 采用 黑 盒 测 试 方法 。 对 于 一 个 具体 的 软件 项 目 ， 到 了 系统 测试 这 
非常 重要 的 是 能 够 建立 满足 具体 软件 项 目 要 求 的 仿真 环境 ， 用 模拟 的 或 真实 的 数 


据 考验 和 测试 所 开发 出 来 的 软件 系统 。 


软件 


系统 测试 的 设计 包括 : 测试 程序 和 测试 用 例 设计 ， 以 及 测试 环境 的 建立 。 


系统 测试 用 例 设计 应 包括 : 


口 


口 


测试 用 例 的 准备 、 初 始 化 、 测 试 过 程 、 中 间 步 又、 前 提 和 约束 条 件 、 测 试 输入 数 
据 、 期 望 输出 结果 和 评价 测试 结果 的 标准 等 ; 

测试 用 例 的 输入 应 包括 合理 的 “有效 等 价 类 ) 值 、 不 合理 的 (无 效 等 价 类 ) 值 和 
边界 值 输 入 ; 
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口 ”全 部 测试 用 例 必须 形成 单独 的 “软件 系统 测试 说 明 ” 文 档 。 
黑 盒 测试 主要 试图 发 现 以 下 类 型 的 错误 : 
是 和 否 有 不 正确 或 遗漏 了 的 功能 ; 
是 否 有 多 余 的 功能 ( 即 软件 是 否 做 了 它 不 该 做 的 事 ); 
界面 上 有 无 错误 ; 
接口 是 否 正确 〈 即 输入 是 否 能 正确 的 接收 ， 是 否 输出 正确 结果 ); 
是 和 否 有 数据 结构 错误 或 外 部 信息 〈 如 数据 文件 、 数 据 库 ) 访问 错误 ; 
性 能 指标 是 否 满足 要 求 ; 
是 否 存在 初始 化 和 终止 性 错误 。 
因此 ， 采 用 黑 盒 测 试 时 ， 必 须 在 所 有 可 能 的 输入 条 件 和 输出 条 件 下 确定 测试 数据 ， 检 
查 软件 是 否 都 能 产生 正确 的 结果 。 并 且 要 检查 当 有 错误 输入 情况 时 ， 软 件 的 适应 能 力 如 何 。 


3.4.6 ”系统 测试 实施 步骤 


DOOOOO DO 


软件 系统 测试 工作 的 具体 步骤 : 
(1) 制定 《软件 系统 测试 计划 》。 按 照 国家 有 关 软 件 标准 或 行业 规范 中 的 相应 要 求 ， 
拟 制 软件 系统 测试 计划 。 


(2) 编写 《软件 系统 测试 说 明 》。 按 照 国家 有 关 软 件 标准 或 行业 规范 中 的 相应 要 求 ， 
编写 软件 系统 测试 说 明 ， 对 每 一 个 测试 用 例 进 行 详细 的 定义 和 说 明 。 同 时 ， 要 完成 执行 测 
试用 例 所 需要 的 测试 环境 、 测 试 软件 的 准备 工作 。 

(3) 执行 系统 测试 。 按 照 《 软 件 系统 测试 计划 》 和 《软件 系统 测试 说 明 》 对 软件 进行 
测试 ， 并 详细 记录 执行 信息 。 根 据 每 个 测试 用 例 的 期 望 测试 结果 、 实 际 测试 结果 和 评价 准 
则 ， 判 定 该 测试 用 例 是 否 通过 。 在 测试 过 程 中 ， 应 填写 《软件 测试 记录 》。 如 果 发 现 软件 问 
题 ， 应 填写 《软件 问题 报告 单 》。 

(4) 修改 软件 测试 过 程 中 发 现 的 问题 。 修 改 软件 问题 要 有 受 控 措 施 ， 应 先 填写 《软件 
更 动 报告 单 》 在 得 到 同意 的 答复 之 后 进行 软件 的 修改 〈 包 括 软件 文档 、 程 序 和 数据 等 的 全 
面 修改 )。 修 改 完成 之 后 ， 必 须 进行 回归 测试 ， 直 至 软件 达到 通过 准则 的 要 求 。 

(5) 确认 《用 户 手册 》 和 《操作 手册 》 的 适用 性 和 有 效 性 。 

(6) 编制 《软件 系统 测试 报告 》。 当 具体 的 软件 测试 工作 完成 之 后 ， 依 照 《 软 件 系统 
测试 计划 》、《 软 件 系 统 测试 说 明 》、《 软 件 系 统 测试 记录 》 对 测试 结果 进行 统计 、 分 析 和 评 
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估 ， 在 此 基础 上 按照 国家 有 关 软 件 标准 或 行业 规范 中 的 相应 要 求 ， 编 制 《 软 件 系统 测试 
报告 》。 

(7) 确认 整个 系统 工作 的 有 效 性 和 协调 性 。 

(8) 软件 系统 测试 阶段 评审 。 软 件 系 统 测试 阶段 工作 全 部 完成 之 后 ， 应 组 织 软件 系统 
测试 阶段 的 评审 。 


3.4.7 ”系统 测试 通过 准则 


软件 系统 测试 要 遵循 如 下 一 些 通过 准则 : 

(1) 软件 系统 的 功能 、 质 量 特性 、 接 口 等 符合 软件 系统 需求 ; 

(2) 满足 有 关 的 测试 技术 指标 要 求 ( 如 : 满足 允许 的 错误 级 别 和 错误 数量 要 求 等 ); 

(3) 软件 系统 测试 环境 满足 软件 系统 设计 要 求 ， 测 试 活动 满足 独立 性 要 求 ; 

(4) 实际 测试 过 程 遵 循 了 原 定 的 《软件 系统 测试 计划 》 和 《软件 系统 测试 说 明 》; 

(5) 软件 系统 测试 中 发 现 的 所 有 问题 已 作 了 客观 、 详 细 的 记录 ; 

(6) 软件 系统 测试 的 过 程 始终 在 软件 配置 控制 之 下 进行 。 软 件 问 题 修 改 符合 更 动 规 
程 要 求 ; 

(7) 软件 系统 测试 中 发 现 的 所 有 问题 已 做 了 应 有 的 处 理 ， 并 通过 了 回归 测试 , 或 者 给 

(8) 完成 了 软件 系统 测试 阶段 的 《软件 系统 测试 报告 》 的 文档 编写 ; 

(9) 全 部 的 软件 系统 测试 文档 、 测 试用 例 、 测 试 记录 、 被 测 程序 等 齐全 ， 符 合 规范 ， 
均 已 置 于 配置 管理 之 下 。 


3.5 ”验收 测试 和 配置 审计 


软件 验收 测试 可 以 是 以 用 户 为 主 的 测试 。 一 般 ， 在 软件 系统 测试 结束 以 及 软件 配置 审 
查 之 后 ， 可 以 开始 软件 系统 的 验收 测试 。 验 收 测试 应 由 用 户 、 测 试 人 员 、 软 件 开发 人 员 和 
质量 保证 人 员 (QA) 共同 组 成 测试 小 组 , 设计 测试 用 例 。 使 用 真实 数据 作为 输入 测试 数据 ， 
分 析 检 查 测试 输出 的 结果 ， 验 证 软件 系统 是 否 达 到 用 户 要 求 等 。 
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3.5.1 基本 原则 


(1) 软件 验收 测试 和 软件 配置 审计 是 在 验收 评审 前 完成 的 两 项 工作 ; 

(2) 软件 验收 测试 小 组 应 在 认真 审查 软件 需求 规格 说 明 、 软 件 集成 测试 和 软件 系统 测 
试 计划 的 基础 上 ， 制 定 软件 验收 测试 计划 ; 

(3) 软件 配置 审计 组 在 认真 审查 软件 需求 规格 说 明 、 集 成 测试 、 系 统 测试 等 过 程 中 形 
成 的 产品 以 及 更 动 管 理 及 审计 工作 的 基础 上 开展 审计 ; 

(4) 原 有 的 软件 测试 和 审计 结果 ， 凡 可 以 利用 的 就 利用 ， 不 必 重 做 该 项 测试 或 审计 。 
可 根据 用 户 要 求 临 时 增加 一 些 测试 和 审计 内 容 ， 还 应 重点 对 前 期 测试 中 曾经 出 现 过 的 问题 
进行 考核 ; 

(5) 软件 验收 测试 的 环境 、 内 容 等 应 符合 《软件 开发 技术 合同 书 》 或 《软件 开发 任务 
书 》 的 要 求 ; 

(6) 软件 配置 审计 组 完成 物理 配置 审计 ， 检 查 程序 和 文档 的 一 臻 性、 文档 和 文档 的 一 
致 性 、 交 付 的 软件 产品 与 《软件 开发 技术 合同 书 》 或 《软件 开发 任务 书 》 的 一 致 性 及 符合 
标准 的 情况 。 


3.5.2 ”验收 测试 和 配置 审计 内 容 


oe 


口 ”检查 《软件 开发 技术 合同 》 或 《软件 开发 任务 书 》 要 求 的 所 有 功能 是 否 实现 ; 

口 “检查 《软件 开发 技术 合同 》 或 《软件 开发 任务 书 》 要 求 的 所 有 软件 质量 特性 是 否 
达到 ，; 

口 ”检查 软件 系统 开发 各 阶段 的 文档 、 评 审结 论 是 否 齐全 规范 ; 

口 “验证 软件 系统 功能 和 接口 与 软件 需求 规格 说 明 的 一 致 性 ;检查 程序 和 文档 的 一 至 
性 、 文 档 与 文档 的 一 致 性 、 交 付 的 软件 产品 与 《软件 开发 技术 合同 》 或 《软件 开 
发 任务 书 》 要 求 的 一 致 性 及 符合 有 关 标 准 的 情况 ; 

口 ” 由 双方 协商 确定 的 一 些 特殊 测试 和 配置 审计 。 


3.5.3 ”验收 测试 和 配置 审计 的 步骤 


(1) 制定 软件 验收 测试 计划 、 软 件 配置 审计 计划 ， 作 好 验收 测试 和 配置 审计 的 准备 ; 
(2) 经 验收 委员 会 审定 后 ， 实 施 软件 验收 测试 和 软件 配置 审计 工作 。 建 立 完 整 的 软件 
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验收 测试 、 配 置 审计 记录 ; 

(3) 编写 软件 验收 测试 报告 、 软 件 配置 审计 报告 ; 

(4) 验收 委员 会 对 验收 测试 和 配置 审计 情况 进行 评审 ， 给 出 结论 性 意见 。 

随 着 软件 测试 技术 的 不 断 发 展 ， 测 试 方法 和 工具 也 越 来 越 多 ， 新 的 软件 质量 模型 也 在 
不 断 改进 ， 本 书 的 其 他 章节 已 经 作 了 介绍 ， 此 处 不 再 袭 述 。 在 软件 开发 过 程 测试 中 应 尽 可 
能 多 地 采用 一 些 先 进 的 、 自 动 化 程度 高 的 测试 方法 和 工具 ， 减 少 软件 测试 工作 强度 ， 提 高 
测试 的 效率 。 

从 前 面 介 绍 的 软件 开发 过 程 的 测试 中 可 以 看 出 ， 在 测试 中 总 是 要 遵循 一 定 的 软件 工程 
标准 和 产品 质量 评价 标准 。 为 了 更 好 的 开展 软件 测试 工作 ， 下 面 对 软 件 质量 模型 进行 简要 
介绍 ， 供 读者 参考 。 


3.6 软件 质量 评价 简介 


ISO〔 国 际 标准 化 组 织 ) 和 IEC (国际 电工 委员 会 ) 是 世界 性 的 标准 化 专门 机 构 。 在 信 
息 技 术 领 域 ，ISO 和 IEC 建立 一 个 联合 的 技术 委员 会 ， 即 ISO/IEC JTC1。 发 布 一 项 国际 标 
准 ， 至 少 需要 有 75% 的 参与 表决 的 国家 成 员 体 投票 赞成 ， 可 见 其 权威 性 。 

目前 ， 软 件 正 在 成 为 许多 现代 产品 中 一 个 关键 的 部 分 ， 软 件 的 渗透 性 已 使 其 成 为 贸易 
中 新 的 主要 因素 。 对 软件 的 质量 评价 则 显得 极其 重要 。 一 般 而 言 ， 对 软件 的 质量 进行 评价 
要 从 模型 的 生成 、 计 分 统计 及 结果 分 析 ， 到 结果 报告 生成 软件 自动 化 ， 要 符合 软件 质量 评 
价 国际 标准 和 国家 标准 ， 应 较 全 面 地 考虑 影响 软件 质量 的 诸多 因素 ， 如 各 种 软件 质量 特性 、 
评价 准则 和 度量 、 质 量 加 权 系 数 采用 的 方法 等 ， 能 较 系 统 、 科 学 地 反映 软件 的 质量 。 

我 国 执行 的 《GB/T 16260-1996 信息 技术 软件 产品 评价 质量 特性 及 其 使 用 指南 》 国 
家 标准 〈 等 同 于 ISOHEC 9126: 1991)， 定 义 了 评价 软件 质量 的 功能 性 、 可 靠 性 、 易 用 性 、 
效率 、 维 护 性 、 可 移植 性 6 个 特性 和 在 此 之 下 的 21 个 子 特性 。 随 着 软件 技术 的 飞速 发 展 ， 
ISO/IEC 组 织 对 现行 的 软件 标准 也 在 不 断 的 修订 和 完善 ， 己 经 正式 发 布 了 ISO/IEC 9126-1: 
2001。 目 前 我 国 也 据 此 正在 对 GB/T 16260-1996 进行 修订 ， 结 合 我 国 实际 情况 将 形成 新 的 
标准 版 本 ， 读 者 可 根据 需要 查阅 相关 国家 标准 。 
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3.6.1 ”有关 概念 


保证 软件 产品 质量 一 般 可 以 通过 两 种 途径 实现 ， 一 是 保证 软件 开发 过 程 的 质量 ， 另 外 
就 是 评价 最 终 软 件 产品 的 质量 ， 这 两 种 途径 都 非常 重要 。 

为 了 满足 软件 质量 要 求 而 进行 的 软件 产品 评价 是 软件 开发 生存 周期 中 的 一 个 过 程 。 软 
件 质量 可 以 通过 测量 内 部 属性 、 外 部 属性 和 使 用 质量 的 属性 来 评价 。 目 标 就 是 使 软件 在 指 
定 的 使 用 条 件 下 具有 所 需 的 效用 (如 图 3.5 所 示 )。 


过 程 软件 产品 软件 产品 的 效用 
影响 影响 

十 和 内 部 影响 外 部 

计时 质量 质量 
4—— 属性 二 == 属性 所 一 一 

依赖 依赖 依赖 

过 程 内 部 外 部 

测量 测量 测量 


图 3.5 软件 生存 周期 中 的 质量 


内 部 质量 : 是 基于 内 部 观点 的 软件 产品 特性 的 总 体 。 内 部 质量 是 针对 内 部 质量 需求 所 
被 测量 和 评价 的 质量 。 软 件 产品 质量 的 细节 可 以 在 代码 实现 、 评 审 和 测试 期 间 被 改进 ， 但 
是 由 内 部 质量 表示 的 软件 产品 质量 的 基本 性 质 不 会 改变 ， 除 非 进行 重新 设计 。 

外 部 质量 : 是 基于 外 部 观点 的 软件 产品 特性 的 总 体 。 即 当 软件 执行 时 ， 典 型 的 是 使 用 
外 部 度量 在 模拟 环境 中 用 模拟 数据 测试 时 所 被 测量 和 评价 的 质量 。 在 测试 期 间 ， 大 多 数 错 
误 都 应 该 可 以 被 发 现 和 消除 。 然 而 ， 在 测试 后 仍 会 存在 一 些 错误 。 由 于 难以 校正 软件 的 体 
系 结构 或 软件 其 他 的 基础 设计 ， 基 础 设计 在 整个 测试 中 通常 保持 不 变 。 

使 用 质量 : 软件 产品 对 指定 用 户 在 特定 的 使 用 条 件 下 获得 与 有 效 性 、 生 产 率 、 安 全 性 
和 满意 度 相 关 的 规定 目标 的 能 力 。 它 是 基于 用 户 观点 的 用 于 指定 的 使 用 环境 和 条 件 时 的 质 
量 。 它 测量 用 户 在 特定 环境 中 能 达到 其 目标 的 程度 ， 而 不 是 测量 软件 自身 的 性 质 。 

用 户 的 质量 要 求 包括 指定 的 使 用 条 件 下 对 使 用 质量 的 需求 。 当 使 用 软件 产品 质量 特性 
和 子 特性 来 说 明 外 部 质量 和 内 部 质量 的 时 候 ， 可 以 使 用 这 些 被 确定 的 要 求 。 

过 程 质量 有 助 于 提高 产品 质量 ， 而 产品 质量 又 有 助 于 提高 使 用 质量 。 因 此 ， 评 估 和 改 
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进 一 个 过 程 是 提高 软件 产品 质量 的 一 种 手段 ， 而 评价 和 改进 软件 产品 质量 则 又 是 提高 使 用 
质量 的 一 种 手段 。 同 样 ， 评 价 使 用 质量 可 以 为 改进 产品 提供 反馈 ， 而 评价 产品 则 可 以 为 改 
进 过 程 提供 反馈 。 

合适 的 软件 内 部 属性 是 获得 所 需 外 部 特性 的 先决 条 件 ， 而 适当 的 外 部 特性 则 是 获得 使 
了 质量 的 先决 条 件 。 内 部 质量 、 外 部 质量 和 使 用 质量 的 观点 在 软件 生存 周期 中 是 变化 的 。 
例如 ， 在 生存 周期 开始 阶段 作为 质量 需求 而 规定 的 质量 大 多 数 是 从 外 部 和 用 户 的 角度 出 发 
的 ， 它 与 像 设计 质量 这 样 的 中 间 产 品质 量 不 同 ， 后 者 大 多 是 从 内 部 和 开发 者 的 角度 来 看 问 
题 的 。 


3.6.2 ”外 部 和 内 部 质量 模型 


软件 质量 属性 划分 为 6 个 特性 (功能 性 、 可 靠 性 、 易 用 性 、 效 率 、 维 护 性 和 可 移植 性 )， 
并 进一步 细 分 为 若干 子 特 性 (如 图 3.6 所 示 )。 这 些 子 特性 可 用 内 部 或 者 外 部 度量 来 测量 。 
软件 的 每 个 质量 特性 和 影响 质量 特性 的 子 特性 在 GB/T 16260 中 都 给 予 了 定义 及 实例 , 这 里 
不 再 详 述 。 


外 部 和 内 部 质量 


时 间 特 性 
易 安 装 性 
资源 利 共存 性 
用 性 易 替换 性 


可 移植 性 的 
依从 性 


图 3.6 外 部 和 内 部 质量 的 质量 模 


昱 
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软件 使 用 质量 的 属性 分 为 4 个 特性 : 有 效 性 、 生产率 、 安全 性 和 满意 度 ( 如 图 3.7 所 示 )。 
使 用 质量 是 用 户 观点 的 质量 。 使 用 质量 的 获得 依赖 于 取得 必需 的 外 部 质量 ， 而 外 部 质量 的 
获得 依赖 于 取得 必需 的 内 部 质量 ， 通 常 在 这 3 个 层面 上 的 测量 都 是 需要 的 。 


有 效 性 | 生产 率 | 安全 性 满意 度 


图 3.7 使 用 质量 的 质量 模型 


第 4 章 产品 测试 


软件 产品 测试 是 在 软件 系统 开发 完成 以 后 ， 产 品 发 布 、 发 行 或 使 用 之 前 ， 构 造 一 定 的 
实际 应 用 环境 ， 对 于 软件 产品 的 运行 状态 进行 最 后 确认 的 关键 步骤 。 软 件 产品 测试 与 软件 
开发 过 程 中 的 测试 的 主要 区 别 是 : 第 一 ， 软 件 生存 周期 中 所 处 的 阶段 不 同 ， 软 件 产品 测试 
是 软件 开发 阶段 完成 之 后 进行 的 一 系列 测试 ， 第 二 ， 测 试 环 境 不 同 ， 软 件 产品 测试 是 在 软 
件 的 实际 应 用 环境 中 进行 的 测试 ， 第 三 ， 测 试 人 员 不 同 ， 软 件 产品 测试 是 软件 开发 组 织 之 
外 的 专职 测试 人 员 和 /或 使 用 人 员 进 行 的 测试 ， 第 四 ， 所 关心 的 软件 质量 特性 不 同 ， 软 件 产 
品 测试 的 重点 是 确认 软件 的 外 部 质量 特性 ; 第 五 ， 测 试 内 容 的 完整 性 要 求 不 同 ， 软 件 产品 
测试 根据 应 用 的 需要 可 以 是 综合 性 〈 即 完整 性 ) 测试 ， 也 可 以 仅 对 某 一 类 别 进 行 测试 。 

软件 产品 测试 类 别 主 要 有 : 功能 测试 、 性 能 测试 、B (beta) 测试 、Benchmark 测试 、 
配置 测试 、 兼 容 性 测试 、 易 用 性 测试 、 强 度 测 试 等 。 下 面 分 节 介绍 几 种 常用 的 软件 产品 测 


4.1 功能 测试 


4.1.1 测试 目的 


软件 产品 功能 测试 的 目的 是 对 用 户 需求 的 符合 性 测试 ， 确 认 软件 产品 的 功能 是 否 满足 
用 户 需 求 或 软件 开发 任务 书 中 要 求 的 功能 。 


4.1.2 测试 内 容 


计算 机 软件 产品 功能 性 测试 ， 根 据 软 件 质量 模型 定义 的 外 部 质量 特性 的 功能 性 〈 详 见 
GB/T 16260 一 1996)， 应 包括 各 个 功能 项 的 适合 性 测试 、 准 确 性 测试 、 互 操作 性 测试 、 保 密 
安全 性 测试 和 依从 性 测试 5 个 子 特性 的 内 容 。 重 点 是 检测 软件 的 系统 行为 。 如 当前 实际 执 
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行 的 结果 与 功能 需求 规格 说 明之 间 的 差别 ;实际 用 户 在 操作 期 间 发 现 规格 说 明 中 的 功能 从 
缺 ， 这 些 功 能 是 针对 规格 说 明 中 未 明确 但 却 是 隐 含 的 需求 等 。 这 里 所 述 测试 内 容 ， 与 3.4.1 
小 节 所 述 有 许多 相似 之 处 ， 这 里 从 把 握 产 品 测试 的 特点 方面 ， 描 述 其 不 同 之 处 。 

(1) 适合 性 测试 

外 部 适合 性 测试 是 对 软件 产品 为 指定 的 任务 和 用 户 目 标 提供 一 组 合适 的 功能 的 能 力 进 
行 检测 ， 例 如 在 测试 和 用 户 运作 系统 期 间 出 现 不 满意 的 功能 或 不 满意 的 操作 。 

不 满意 的 功能 或 操作 可 能 是 : 


口 
口 
口 


口 


口 
口 


功能 或 操作 未 能 按照 用 户 手册 或 需求 规格 说 明 中 规定 的 执行 ; 

功能 或 操作 未 能 提供 合理 的 和 可 接受 的 结果 以 实现 用 户 任务 所 期 望 的 特定 目标 ; 
功能 或 操作 提供 了 软件 需求 规格 说 明 中 没有 指明 的 功能 ， 以 及 功能 边界 的 不 适当 
之 处 ， 

功能 或 操作 在 预先 规定 的 一 个 时 期 和 内， 计算机 软件 产品 在 设计 能 力 的 极限 状态 ， 
进而 超出 此 极限 状态 下 ， 运 行 软件 产品 的 所 有 功能 ， 出 现 了 非 期 望 的 结果 

功能 或 操作 在 进行 计算 机 软件 产品 的 负载 潜力 测试 时 ， 出 现 了 非 期 望 的 结果 ; 
功能 或 操作 在 进行 计算 机 的 部 分 硬件 失效 而 需 降 级 运行 的 软件 能 力 进行 测试 时 
出 现 了 非 期 望 的 结果 。 


(2) 准确 性 测试 
外 部 准确 性 测试 ， 是 对 软件 产品 提供 具有 所 需 精确 度 的 正确 或 相符 的 结果 及 效果 的 能 
力 进行 检测 ， 例 如 用 户 遇 到 不 准确 的 事项 的 频率 。 这 里 包括 : 


| 


| 
口 


由 于 不 充分 的 数据 引起 的 不 正确 或 不 精确 的 结果 ， 如 数据 的 有 效 数 字 太 少 不 足 以 
做 精确 的 计算 ; 

实际 的 操作 规程 与 操作 手册 上 描述 的 规程 不 符 ; 

在 运行 期 间 所 执行 的 任务 的 实际 结果 与 预期 的 结果 有 差别 。 


(3) 互 操作 性 测试 

外 部 互 操作 性 测试 是 对 软件 产品 与 一 个 或 更 多 的 规定 系统 进行 交互 的 能 力 进行 检测 
〈 详 见 第 7 章 ), 例如 涉及 数据 和 命令 缺乏 沟通 的 功能 或 事件 的 数目 ,而 这 类 数据 和 命令 在 
该 软件 产品 和 与 其 相连 的 其 他 系统 、 其 他 的 软件 产品 或 设备 之 间 很 容易 被 传送 。 这 里 包括 : 


画 ] 


口 


根据 需求 ， 在 网 络 环境 中 ， 对 其 互 操作 能 力 进行 测试 ， 检 查 软 件 产品 是 否 能 与 其 
他 系统 进行 规定 的 互 操 作 ; 
测试 计算 机 软件 产品 的 所 有 外 部 接口 ， 检 查 计算 机 软件 产品 支持 外 部 接口 信息 格 
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式 的 能 力 ; 
口 ”测试 最 终 用 户 使 用 软件 产品 交换 数据 的 能 力 ， 统 计 在 规定 时 间 内 正确 交换 数据 的 
实现 率 。 


(4) 保密 安全 性 测试 
外 部 保密 安全 性 测试 是 对 软件 产品 保护 信息 和 数据 的 能 力 进行 测试 ， 以 使 未 授权 的 人 
员 或 系统 不 能 阅读 或 修改 这 些 信 息 ， 而 不 拒绝 授权 人 员 或 系统 对 它们 的 访问 。 例 如 带 有 保 
密 安 全 问题 的 功能 或 事件 的 数目 ， 包 括 : 
口 ”未 能 防止 安全 输出 信息 或 数据 的 泄露 ; 
口 未 能 防止 重要 数据 的 丢失 ; 
口 未 能 杜绝 非法 的 入 侵 或 非法 的 操作 。 
(5) 依从 性 测试 
外 部 功能 依从 性 测试 是 对 软件 产品 依从 于 与 功能 性 相关 的 标准 、 约 定 或 法 规 以 及 类 似 
规定 的 能 力 进行 检测 ， 例 如 带 有 依从 性 问题 的 功能 或 事件 的 数目 ， 这 些 依从 性 问题 是 指 软 
件 产品 不 符合 标准 、 约 定 、 合 同 或 其 他 法 定 的 需求 。 
口 ”对 软件 产品 的 功能 性 是 否 遵 循 特定 的 标准 、 约 定 、 法 规 及 有 关 规 定 进 行 审 查 和 
测试 ; 
口 ”对 软件 产品 的 界面 标准 的 依从 性 进行 测试 ， 即 检测 处 理 规定 的 输入 /输出 信息 格式 
的 正确 性 和 处 理 错 误 信 息 格式 的 能 力 。 


4.1.3 测试 方法 


软件 产品 功能 测试 主要 采用 黑 盒 测 试 方法 ， 其 主要 组 成 是 等 价 类 划分 、 边 界 值 分 析 、 
因果 图 、 比 较 测 试 等 技术 。 测 试用 例 设 计 是 动态 获取 软件 质量 中 单一 度量 值 的 研究 过 程 。 
用 少 而 简单 的 方法 获取 多 而 有 效 的 度量 值 ， 是 测试 用 例 设计 所 追求 的 目标 。 例 如 ， 在 数据 
处 理 方面 的 测试 用 例 设 计 中 采用 等 价 类 划分 、 边 值 分 析 、 因 果 图 等 方法 ， 在 状态 转换 方面 
的 测试 用 例 设 计时 ， 除 了 正常 状态 测试 外 ， 重 点 要 考虑 异常 状态 的 测试 。 异 常 状态 又 包括 
状态 错 、 转 换 错 、 输 出 错 、 编 码 错 等 。 又 如 状态 错 还 可 分 为 状态 数值 错 、 不 可 能 状态 、 等 
价 状态 。 所 以 测试 用 例 设 计 是 对 测试 方法 进行 永 无 止境 的 探索 与 研究 的 过 程 。 

1. 等 价 类 划分 

等 价 类 划分 是 一 种 仅 使 用 于 测试 用 例 的 输入 信息 设计 技术 。 前 面 已 经 讨论 过 ， 不 可 能 
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使 用 所 有 可 能 的 输入 数据 来 测试 程序 ， 而 只 能 从 输入 数据 中 选择 一 个 子 集 。 选 择 测 试 子 集 
是 软件 测试 工程 师 最 重要 的 任务 ， 所 采用 的 办 法 就 是 等 价 类 划分 ， 其 目的 是 把 所 有 的 测试 
组 合 缩减 到 同样 有 效 的 最 小 范围 ( 即 减 少 必须 设计 的 测试 用 例 总 数 )。 等 价 类 划分 技术 是 用 
来 设计 发 现 错误 种 类 的 测试 用 例 ， 也 就 是 说 把 所 有 可 能 的 输入 数据 划分 为 若干 等 价 类 ， 测 
试 某 等 价 类 的 代表 值 ， 就 等 于 对 这 一 类 其 他 值 的 测试 ， 一 个 测试 用 例 查 出 了 错误 ， 这 一 等 
价 类 中 的 其 他 测试 用 例 也 会 查 出 同样 的 错误 。 反 之 ， 若 某 个 等 价 类 中 的 测试 用 例 未 查 出 错 
误 ， 则 该 等 价 类 中 的 其 他 测试 用 例 也 应 同样 查 不 出 错误 。 但 是 等 价 类 中 的 一 个 子 集 同 时 属 
于 男 一 个 等 价 类 者 除外 ， 因 为 各 等 价 类 之 间 可 以 相互 交叉 。 

采用 等 价 类 划分 技术 设计 测试 用 例 ， 应 分 两 步 进 行 ， 即 首先 划分 等 价 类 ， 然 后 确定 测 
试用 例 。 

(1) 划分 等 价 类 

划分 等 价 类 的 方法 是 根据 每 个 输入 条 件 (通常 是 规范 说 明 中 的 一 句 话 或 一 个 短语 ), 找 
出 两 个 或 更 多 的 等 价 类 ， 将 其 列表 ， 其 格式 如 表 4.1 所 示 。 


表 4.1 等 价 类 划分 


备注 


表 中 合理 等 价 类 是 指 各 种 正确 的 输入 数据 ， 不 合理 等 价 类 是 指 所 有 其 他 错误 的 输入 数 
据 。 该 划分 方法 是 根据 测试 原则 确定 的 。 这 条 原则 是 使 用 不 合理 的 和 非 预 期 的 输入 数据 进 
行程 序 测试 ， 将 比 使 用 合理 的 和 预期 的 输入 数据 查 错 收获 更 大 。 

划分 等 价 类 的 工作 在 很 大 程度 上 是 一 个 探索 性 的 过 程 。 以 下 几 点 供 参考 : 

@ 如 果 某 个 输入 条 件 规定 了 输入 值 的 范围 (其 数值 为 1~999)， 此 时 可 以 划分 为 一 个 
合理 等 价 类 (大 于 、 等 于 1 而 小 于 、 等 于 999) 和 两 个 不 合理 等 价 类 (小 于 1 和 大 于 999 
的 数 )。 

@ 假定 某 个 输入 条 件 规定 了 输入 数据 的 个 数 (如 一 个 学 生 一 学 期 内 只 能 选修 课程 1~3 
门 )， 则 可 以 划分 为 一 个 合理 等 价 类 (选修 课程 1~3 门 ) 和 两 个 不 合理 等 价 类 〈 不 选修 和 选 
修 超过 3 门 )。 
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@ 假设 某 个 输入 条 件 规定 了 一 组 可 能 的 值 , 而 且 程序 可 以 对 每 个 输入 值 分 别 进行 处 理 
(如 出 差 时 交通 工具 的 类 型 必须 是 火车 、 汽 车 或 轮船 )， 那么 可 以 为 每 一 个 值 确立 一 个 合理 
等 价 类 如 火车 、 汽 车 和 轮船 )， 同 时 对 一 组 值 确立 一 个 不 合理 等 价 类 (如 飞机 )。 

@ 如 果 某 个 输入 条 件 规定 了 必须 成 立 的 条 件 ( 比 如 标识 符 的 第 一 个 字符 必须 是 字母 )， 
则 可 以 划分 为 一 个 合理 等 价 类 (第 一 个 字符 必须 是 字母 )》 和 一 个 不 合理 等 价 类 (第 一 个 字 
符 不 是 字母 )。 

@ 若 某 一 等 价 类 中 的 各 值 在 程序 中 的 处 理 方式 不 同 , 那么 应 该 把 该 等 价 类 划分 为 更 小 
的 等 价 类 。 

(2) 确定 测试 用 例 

根据 等 价 类 的 划分 设计 测试 用 例 ， 其 过 程 如 下 : 

Q@ 给 每 个 等 价 类 规定 一 个 惟一 的 编号 。 

@ 设计 一 个 新 的 测试 用 例 , 使 其 尽 可 能 多 地 获 盖 未 被 覆盖 过 的 合理 等 价 类 ,此 项 工作 
重复 进行 ， 直 到 所 有 的 合理 等 价 类 都 被 禾 盖 为 止 。 

@ 设计 一 个 新 的 测试 用 例 ， 使 其 覆盖 一 个 ， 且 仅 一 个 未 被 覆盖 过 的 不 合理 等 价 类 ， 此 
项 工作 同样 进行 到 所 有 不 合理 等 价 类 都 被 窗 盖 为 止 。 这 里 应 特别 指明 的 一 点 是 ， 某 些 程序 
对 一 种 输入 错误 的 检查 会 屏蔽 检查 其 他 输入 错误 。 如 某 程序 规范 中 规定 了 输入 书 的 类 型 (分 
别 为 精装 本 、 平 装 本 或 活页 本 ) 和 书 的 数量 (为 1~999 册 )， 若 测试 用 例 的 输入 数据 类 型 为 
“线装 ” 且 数 量 为 “0”， 此 情况 纱 盖 了 两 个 不 合理 条 件 〈 类 型 和 数量 都 是 错误 的 )。 当 程 
序 检查 到 书 的 类 型 错误 时 ， 就 可 能 不 再 去 检查 数量 是 否 也 是 错误 的 ， 所 以 设计 不 合理 等 价 
类 的 测试 用 例 时 应 该 仅 包含 一 个 未 被 窗 盖 的 不 合理 等 价 类 。 

这 里 应 指明 的 一 点 是 : 如 果 为 了 减少 测试 用 例 ， 过 分 地 减少 等 价 类 的 数量 ， 测 试 中 漏 
掉 软件 缺陷 的 风险 就 会 增加 。 对 于 初 涉 软件 测试 者 ， 一 定 要 请 经 验 丰 富 的 软件 测试 员 审 查 
预定 的 等 价 类 别 。 

2. 边界 值 分 析 

边界 值 分 析 技 术 也 是 一 种 黑 盒 测试 方法 ， 是 对 等 价 类 划分 技术 的 补充 ， 但 又 不 同 于 等 
价 类 划分 ， 主 要 区 别 有 以 下 两 点 : 

其 一 ， 边 界 值 分 析 不 是 从 等 价 类 中 随便 选 一 个 数据 作为 代表 ， 而 是 选 一 个 或 几 个 特定 
值 ， 使 这 个 等 价 类 的 每 个 边界 都 作为 测试 的 目标 ; 

其 二 ， 边 界 值 分 析 不 仅 要 考虑 输入 条 件 ， 而 且 要 考虑 输出 情况 〈 即 输出 等 价 类 )。 

(1) 边界 值 分 析 的 方法 
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软件 测试 工程 师 们 从 长 期 的 测试 工作 经 验 中 得 知 ， 大 量 的 错误 可 能 是 发 生 在 输入 或 输 
出 范围 的 边界 上 ， 而 不 是 在 输入 范围 的 内 部 。 因 此 针对 各 种 边界 情况 设计 测试 用 例 ， 可 以 
查 出 更 多 的 错误 。 例 如 ， 在 做 三 角形 计算 时 ， 要 输入 三 角形 的 3 个 边 长 : A，B，C。 并 且 
这 3 个 数值 应 当 满 足 条 件 : A> 0，B> 0，C>0，A+B>C，A+C>B，B +C>A, 才能 构 
成 三 角形 。 如 果 6 个 不 等 式 中 的 任何 一 个 大 于 号 “>” 错 写成 大 于 等 于 号 “之 ”时 ， 那 就 不 
能 构成 三 角形 。 问 题 就 出 在 容易 被 疏忽 的 边界 附近 。 这 里 所 说 的 边界 是 指 ， 相 对 于 输入 等 
价 类 和 输出 等 价 类 而 言 ， 稍 高 于 其 边界 值 及 稍 低 于 其 边界 值 的 一 些 特定 情况 。 

使 用 边界 值 分 析 技术 设计 测试 用 例 ， 首 先 应 确定 边界 情况 。 通 常 输入 等 价 类 与 输出 等 
价 类 的 边界 ， 就 是 要 着 重 测试 的 边界 情况 。 应 当选 取 正 好 等 于 、 稍 微 大 于 和 稍微 小 于 边界 
的 值 作为 测试 数据 ， 而 不 是 选取 等 价 类 中 的 典型 值 或 任意 值 作 为 测试 数据 。 

(2) 确定 测试 用 例 的 原则 

边界 值 分 析 技 术 确定 测试 用 例 的 原则 在 很 多 方面 与 等 价 类 划分 技术 类 似 。 

@ 如 果 输 入 条 件 规定 了 值 的 范围 ， 则 应 取 刚 达到 这 个 范围 的 边界 值 ， 以 及 刚刚 超过 这 
个 范围 边界 的 值 作为 测试 输入 数据 。 例如 , 若 输 入 值 的 范围 是 -1.0~+1.0, 则 可 选 -1.0, +1.0， 
-1.001，+1.001 作为 测试 输入 数据 。 

@ 如 果 输 入 条 件 规定 了 值 的 个 数 ， 则 用 最 小 个 数 、 最 大 个 数 、 比 最 小 个 数 少 1、 比 最 
大 个 数 多 1 的 数 作为 测试 数据 。 例 如 ， 某 一 输入 文件 有 1~255 个 记录 ， 则 可 以 选择 1 个 记 
录 、255 个 记录 以 及 0 个 记录 和 256 个 记录 作为 测试 输入 数据 。 

@ 根据 规格 说 明 的 每 个 输出 条 件 ， 使 用 前 面 的 第 一 条 原则 。 例 如 ， 某 程序 的 功能 是 计 
算 折 扣 量 ， 最 低 折 扣 量 是 0 元 ， 最 高 折扣 量 是 980 元 ， 则 设计 一 些 测试 用 例 ， 使 它们 恰好 
产生 0 元 和 980 元 的 结果 。 此 外 ， 还 要 考虑 设计 结果 为 负 值 或 大 于 980 元 的 测试 用 例 。 由 
于 输入 值 的 边界 不 与 输出 值 的 边界 相对 应 ， 所 以 要 检查 输出 值 的 边界 不 一 定 可 能 ， 要 产生 
超出 输出 值 值 域 之 外 的 结果 也 不 一 定 办 得 到 。 尽 管 如 此 ， 必 要 时 还 需 一 试 。 

@ 根据 规格 说 明 的 每 个 输出 条 件 ， 使 用 前 面 的 第 2 条 原则 。 例 如 ， 一 个 信息 检索 系统 
根据 用 户 输入 的 命令 ， 显 示 有 关 文 献 的 摘要 ， 但 最 多 只 显示 4 篇 摘要 。 这 时 可 设计 一 些 测 
试用 例 ， 使 得 程序 分 别 显示 1 篇 、4 篇 、0 篇 摘要 ， 并 设计 一 个 有 可 能 使 程序 错误 地 显示 5 
篇 摘要 的 测试 用 例 。 

@ 如 果 程 序 的 规格 说 明 给 出 的 输入 域 或 输出 域 是 有 序 集合 (如 有 序 表 、 顺序 文件 等 )， 
则 应 选取 集合 的 第 一 个 元 素 和 最 后 一 个 元 素 作为 测试 用 例 。 

@ 如 果 程 序 中 使 用 了 一 个 内 部 数据 结构 , 则 应 当选 择 这 个 内 部 数据 结构 的 边界 上 的 值 
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作为 测试 用 例 。 例 如 ， 如 果 程 序 中 定义 了 一 个 数组 ， 其 元 素 下 标的 下 界 是 0， 上 界 是 100， 
那么 应 选择 达到 这 个 数组 下 标 边界 的 值 ， 如 0 与 100 作为 测试 用 例 。 

@ 分 析 规 格 说 明 ， 找 出 其 他 可 能 的 边界 条 件 。 

边界 值 分 析 技 术 看 起 来 似乎 很 简单 ， 但 是 由 于 许多 程序 中 的 边界 情况 很 复杂 ， 要 找 出 
适当 的 测试 用 例 ， 还 需 针 对 问题 的 输入 域 、 输 出 域 边界 ， 耐 心细 致 地 逐个 考虑 。 实 际 工作 
中 ， 通 常 把 等 价 类 划分 和 边界 值 分 析 这 两 项 测试 技术 结合 使 用 ， 可 达到 事半功倍 的 测试 
效果 。 

3. 因果 图 

因果 图 是 设计 测试 用 例 的 一 种 工具 ， 它 着 重 检查 各 种 输入 条 件 的 组 合 。 例 如 ， 两 个 输 
入 值 的 乘积 超出 了 机 器 的 数值 表示 范围 的 限制 ， 程 序 将 发 生 溢出 错误 。 等 价 类 划分 和 边界 
值 分 析 都 不 能 发 现 这 类 错误 ， 因 为 它们 均 未 考虑 输入 情况 的 各 种 组 合 。 因 果 图 是 解决 这 类 
问题 的 一 种 技术 。 

(1) 因果 图 的 适用 范围 

输入 条 件 之 间 的 组 合 情 况 很 多 ， 而 且 复 杂 。 利 用 因果 图 描述 多 种 条 件 的 组 合 ， 相 应 产 
生 多 个 动作 的 形式 来 考虑 设计 测试 用 例 。 因 果 图 方法 最 终生 成 的 是 判定 表 ， 它 适合 于 检查 
程序 输入 条 件 的 各 种 组 合 情 况 。 

(2) 用 因果 图 生成 测试 用 例 的 基本 步骤 

@ 分 析 软 件 规格 说 明 书 中 ， 哪 些 是 原因 〈 即 输入 条 件 或 输入 条 件 的 等 价 类 )， 哪 些 是 
结果 《〈 即 输出 条 件 )， 并 给 每 个 原因 和 结果 赋予 一 个 标识 。 
@ 分 析 软 件 规格 说 明 描 述 中 的 语义 ， 找 出 原因 与 结果 之 间 、 原 因 与 原因 之 间 对 应 的 是 
什么 关系 ? 根据 这 些 关系 ， 画 出 因果 图 。 
@ 由 于 语法 或 环境 限制 , 有 些 原因 与 原因 之 间 、 原 因 与 结果 之 间 的 组 合 情 况 不 可 能 
现 。 为 表明 这 些 特殊 情况 ， 在 因果 图 上 用 一 些 记 号 标明 约束 或 限制 条 件 。 

@ 把 因果 图 转换 成 判定 表 。 

@ 按 判定 表 中 的 每 一 列 作为 依据 ， 设 计 测试 用 例 。 

(3) 在 因果 图 中 出 现 的 基本 符号 

因果 图 中 常用 的 基本 符号 ， 如 图 4.1 所 示 。 

通常 在 因果 图 中 用 Ci 表示 原因 , 用 Ei 表示 结果 , 其 基本 符号 如 图 4.1 所 示 。 主 要 的 原 
因 和 结果 之 间 的 关系 如 表 4.2 所 示 。 


@ 便 等 “CICO- 一 El 加 非 C1 〇 一 一 一 一 〇 8 
@ 或 cl 图 与 Cl 
V El 人 El 
C2 ev 


图 4.1 因果 图 的 基本 符号 


表 4.2 因果 关系 表 


Q@ 恒 等 表示 原因 与 结果 之 间 一 对 一 的 对 应 关系 。 若 原因 出 现 ， 则 结果 出 现 ， 若 原因 不 出 现 ， 则 
结果 也 不 出 现 

@Q 表示 原因 与 结果 之 间 的 一 种 否定 关系 。 若 原因 出 现 ， 则 结果 不 出 现 ， 若 原因 不 出 现 ， 反 
而 结果 出 现 

加 或 表示 若 儿 个 原因 中 有 一 个 出 现 ， 则 结果 出 现 ; 只 有 当 这 几 个 原因 都 不 出 现时 ， 结 果 才 不 
出 现 

@@ 与 表示 若 儿 个 原因 都 出 现 ， 结 果 才 出 现 ， 若 儿 个 原因 中 有 一 个 不 出 现 ， 则 结果 就 不 出 现 


(4) 表示 约束 条 件 的 符号 
约束 条 件 的 表示 符号 ， 如 图 4.2 所 示 。 


OO a 0 a a ON、 
o -< Rf }™ 
Onb wob b Ox 


@ E ( 互 斥 ) @ I (包含 ) @ 0 (惟一 ) 图 R (要 求 ) 回 M (屏蔽 ) 


图 4.2 约束 条 件 


为 了 表示 原因 与 原因 之 间 、 结 果 与 结果 之 间 可 能 存在 的 约束 条 件 ， 在 因果 图 中 可 以 附 
加 一 些 表示 约束 条 件 的 符号 (如 图 4.2 所 示 )。 若 从 原因 (输入) 考虑 有 4 种 约束 ， 对 于 结 
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果 (输出) 有 一 种 约束 。 其 符号 含义 如 表 4.3 所 示 。 


表 4.3 因果 约束 条 件 


二 ( 互 斥 》 
@ I (包含 ) 


表示 a,b 两 个 原因 不 会 同时 成 立 ， 两 个 中 最 多 有 一 个 可 能 成 立 
表示 a, b,c 三 个 原因 中 至 少 有 一 个 必须 成 立 


输入 

@@ 0 (惟一 ) 表示 a 和 b 当中 必须 有 一 个 且 仅 有 一 个 成 立 

| 图 R (要 求 ) 表示 当 a 出 现时 ，b 也 必须 出 现 。 不 可 能 a 出 现 ，b 不 出 现 
输出 @ M (屏蔽 ) 表示 当 a 是 1 时 ，b 必须 是 0。 而 当 a 为 0 时 ，b 的 值 不 定 


(5) 因果 图 转换 为 判定 表 的 方法 

口 ”选择 一 个 结果 ， 使 其 状态 为 “1”; 

口 根据 因果 图 进行 回溯 , 找 出 使 此 结果 为 “1” 的 所 有 原因 组 合 情 况 (在 约束 条 件 下 ); 

口 ” 在 判定 表 中 为 原因 的 每 一 组 合 情 况 写成 一 列 ; 

口 ”对 每 一 组 合 情 况 的 其 他 结果 状态 也 写 入 每 一 列 。 

通过 上 述 步骤 将 因果 图 中 的 所 有 组 合 情 况 写 入 判定 表 ， 每 一 组 合 情 况 为 一 列 。 而 判定 
表 中 的 每 一 列 ， 即 为 测试 用 例 设计 的 一 项 依据 (或 一 条 设计 规则 )。 

4. 错误 推测 

软件 测试 工程 师 们 也 可 以 靠 经 验 和 直觉 推测 程序 中 可 能 存在 的 错误 ， 从 而 有 针对 性 地 
编写 检查 这 些 错误 的 测试 用 例 。 这 就 是 错误 推测 法 。 

错误 推测 法 的 基本 想法 是 列举 出 程序 中 可 能 有 的 错误 和 容易 发 生 错误 的 特殊 情况 ， 并 
且 根 据 它们 选择 测试 用 例 。 错 误 推测 法 在 很 大 程度 上 靠 直 觉 和 经 验 进行 ， 但 也 可 借助 以 往 
测试 中 已 有 的 一 些 错误 案例 ， 对 程序 中 常见 的 错误 和 容易 出 错 的 情况 ， 在 认真 分 析 的 基础 
上 设计 测试 用 例 。 例 如 ， 输 入 数据 为 零 或 输出 数据 为 零 时 ， 往 往 容 易 发 生 错误 ;如 果 输 入 
或 输出 的 数目 允许 变化 〈 如 被 检索 的 或 生成 的 表 的 项 数 )， 则 输入 或 输出 的 数目 为 0 和 1 时 
( 即 表 为 空 或 上 内 有 一 项 ) 是 容易 出 错 的 情况 。 还 应 该 仔细 分 析 程 序 规格 说 明 书 ， 重 点 查找 
其 中 遗漏 或 省 略 的 部 分 ， 以 便 设 计 相 应 的 测试 用 例 ， 检 测 软件 对 这 部 分 的 处 理 是 否 正确 。 

此 外 ， 经 验 说 明 ， 在 一 段 程序 中 已 经 发 现 的 错误 数目 往往 和 尚未 发 现 的 错误 数目 成 正 
比 。 如 发 现 一 个 错误 ， 附 近 就 会 有 一 群 错误 ， 这 就 是 软件 缺陷 的 “集群 ”现象 。 

5. 比较 测试 

有 时 为 了 保证 系统 的 “绝对 ”可 靠 性 ， 经 常 使 用 元 余 的 软件 ， 以 减少 错误 发 生 的 可 能 
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性 。 例 如 根据 同一 个 规格 (需求 说 明 书 由 不 同 的 开发 小 组 开发 出 的 不 同 的 软件 版 本 ， 可 


用 相同 的 测试 数据 对 它们 进行 测试 以 产生 相同 的 输出 。 然 后 ， 执 行 所 有 软件 版 本 并 进行 实 


时 结果 比较 ， 以 保证 一 致 性 ， 这 种 测试 就 是 比较 测试 (背靠背 测试 )。 受 此 思想 启发 ， 即 使 
最 后 只 使 用 一 个 版 本 ， 也 对 关键 应 用 程序 开发 不 同 的 软件 版 本 ， 并 据 此 进行 比较 测试 。 
比较 测试 法 尤其 适用 于 某 些 软件 执行 结果 不 易 确 定 的 情况 。 例 如 ， 航 天 器 飞行 中 的 轨 
道 确定 软件 的 精度 测试 等 。 
当然 比较 测试 与 其 他 方法 一 样 , 不 可 能 发 现 所 有 的 软件 错误 ， 如 果 需 求 说 明 本 身 有 错 


尽管 儿 个 版 本 的 测试 结果 是 一 致 的 ， 错 误 照 样 不 能 被 发 现 。 另 外 ， 如 果 各 个 版 本 相同 ， 但 


却 产生 错误 的 结构 ， 比 较 测 试 同样 也 不 能 发 现 错误 。 


4.1.4 


测试 要 求 


软件 产品 的 功能 测试 的 具体 要 求 如 下 : 

(1) 必须 有 明确 的 软件 测试 需求 ， 如 软件 测试 合同 或 软件 测试 任务 书 等 有 效 依据 。 
(2) 必须 遵循 软件 测试 的 相关 标准 和 软件 测试 管理 过 程 开 展 测试 工作 。 

(3) 制订 详细 的 软件 测试 计划 ， 明 确 质 量 控制 点 及 评审 形式 。 

(4) 设计 测试 用 例 要 注意 以 下 原则 : 


口 
口 


口 


每 一 个 软件 功能 必须 被 一 个 测试 用 例 或 一 个 被 认可 的 异常 所 咱 盖 ; 

每 一 个 软件 功能 必须 使 用 至 少 一 个 有 效 等 价 类 值 、 无 效 等 价 类 值 和 边界 数据 值 作 
为 测试 用 例 的 输入 进行 测试 ， 考 查 其 功能 的 正确 性 和 完备 性 ; 

在 保密 安全 性 方面 应 测试 防止 非法 计算 机 软件 运行 的 能 力 ， 保 护 软件 系统 数据 完 
整 性 能 力 ， 以 及 防止 误 操作 ， 验 证 软件 产品 对 这 些 错 误 的 响应 ; 

对 于 可 能 导致 软件 运行 方式 改变 的 一 些 边界 条 件 和 环境 条 件 必须 进行 针对 性 
测试 ; 
对 于 有 恢复 (系统 自动 恢复 或 人 工 干 预 恢复 ) 或 重 置 (reset) 功能 需求 的 软件 ， 
必须 测试 其 恢复 或 重 置 功能 ， 对 每 一 类 导致 恢复 或 重 置 的 情况 进行 测试 。 对 人 工 
干预 恢复 的 情况 ， 还 要 考虑 平均 恢复 时 间 是 否 在 限定 范围 之 内 ; 

每 个 测试 用 例 必须 包括 : 执行 测试 用 例 的 所 有 必要 条 件 ; 必需 的 测试 输入 ， 包 括 
每 个 测试 输入 的 名 称 、 用 途 、 说 明 、 来 源 、 选 择 测试 输入 所 使 用 的 方法 、 真 实 性 、 
时 间或 事件 顺序 ， 期 望 的 测试 结果 ; 评估 测试 用 例 的 中 间 和 最 后 结果 所 使 用 的 标 
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准 ; 测试 过 程 ， 该 过 程 是 一 系列 按照 执行 顺序 排列 的 独立 的 步骤 ， 它 应 提供 每 一 
步 所 需 的 测试 操作 和 设备 操作 、 每 一 步 期 望 的 结果 、 每 一 步 的 评估 标准 、 程 序 终 
止 伴随 的 动作 或 错误 指示 、 整 理 和 分 析 测 试 结果 的 过 程 、 前 提 和 约束 。 

(5) 测试 执行 过 程 应 遵循 原 定 的 软件 测试 计划 ， 并 严格 按 测 试用 例 规定 的 操作 进行 ， 
详实 记录 测试 结果 。 

(6) 测试 记录 应 包括 : 测试 时 间 、 地 点 、 软 硬件 的 配置 每 一 个 测试 相关 活动 的 日 期 
和 时 间 ; 测试 过 程 中 对 所 出 现 和 产生 的 问题 所 采取 的 测试 步骤 ， 包 括 对 问题 的 改进 次 数 和 
每 一 次 结果 ; 恢复 重新 测试 的 备份 点 或 测试 步骤 ， 所 有 与 测试 用 例 有 关 的 测试 结果 (包括 
故障 )。 

(7) 测试 结论 要 科学 、 客 观 、 准 确 ， 对 测试 中 发 现 的 软件 问题 ， 应 填写 软件 问题 报告 
单 ， 并 作为 软件 测试 报告 的 附件 。 

(8) 保存 全 部 的 测试 用 例 〈 包 括 测试 输入 数据 、 期 望 测试 结果 和 实际 测试 结果 )、 测 
试 程序 、 测 试 过程 和 产生 的 所 有 测试 文档 ， 并 能 够 用 于 软件 产品 的 复 测 、 问 题 验证 测试 、 
回归 测试 等 后 续 工 作 。 


4.1.5 测试 实施 步骤 


软件 产品 功能 测试 实施 ， 遵 循 软件 测试 过 程 的 划分 〈 详 见 第 9 章 )， 其 基本 步骤 如 下 : 

(1) 软件 测试 计划 : 分 析 测 试 需求 ,成立 测试 组 织 ， 确 定 测试 内 容 ， 明 确 质 量 控制 点 ， 
安排 时 间 进度 ， 编 写 软件 测试 计划 ; 

(2) 测试 设计 : 设计 测试 用 例 ， 生 成 测试 数据 ， 构 造 测试 环境 ， 编 写 软件 测试 说 明 ; 

(3) 测试 执行 : 执行 测试 用 例 ， 并 按 执行 的 时 间 顺 序 记录 测试 工作 的 关键 步骤 、 事 件 
及 结果 ， 形 成 软件 测试 记录 日 志 ; 

(4) 测试 总 结 : 分 析 测 试 结果 ,依据 软件 测试 计划 、 软 件 测试 说 明和 软件 测试 记录 日 
志 ， 编 写 软件 测试 报告 ( 含 软件 测试 问题 报告 )。 


4.1.6 测试 评审 


软件 测试 评审 是 对 软件 产品 的 测试 方案 、 方 法 、 过 程 、 实 测 结果 的 综合 分 析 结 论 ， 通 
过 评审 的 形式 , 确认 是 否 达 到 了 软件 产品 测试 的 科学 性 、 准 确 性 、 客 观 性 、 公 正 性 的 目标 。 
软件 产品 测试 评审 可 分 为 两 个 阶段 进行 : 
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第 一 阶段 是 在 实施 产品 测试 之 前 ， 对 产品 测试 的 方案 进行 内 部 评审 ， 或 称 产 品 测试 方 
案 审查 。 由 测试 责任 单位 组 织 ， 邀 请 软件 开发 人 员 、 同 行 专家 参加 评审 组 。 它 是 对 《产品 
测试 计划 从 《产品 测试 说 明 》 进 行 审查 。 检 查 测试 方案 的 合理 性 、 可 行 性 ， 测 试用 例 的 内 
容 是 否 履 盖 了 《软件 开发 任务 书 》 《软件 用 户 需求 》 或 《软件 测试 合同 书 》 的 内 容 ， 测 试 
环境 是 否 符合 要 求 等 。 以 保证 产品 测试 工作 的 充分 性 和 有 效 性 。 

第 二 阶段 在 实施 产品 测试 之 后 ， 对 《产品 测试 计划 六 《产品 测试 说 明 》 和 《产品 测试 
报告 》 进 行 外 部 评审 ， 或 称 产品 测试 结果 评审 。 测 试 委 托 单位 组 织 ， 由 项 目 管理 人 员 、 开 
发 人 员 、 测 试 人 员 、 同 行 专家 组 成 评审 委员 会 。 

为 有 利于 技术 问题 的 暴露 和 讨论 ， 可 将 评审 的 内 容 ， 明 确 分 为 管理 评审 和 技术 评审 两 
个 层面 ， 先 进行 技术 评审 ， 再 进行 管理 评审 。 

技术 评审 的 主要 任务 : 重点 是 审查 技术 细节 。 如 采用 的 方法 是 否 合理 、 可 行 ， 描 述 是 
和 否 完整 、 准 确 ， 依 据 是 否 充分 等 。 

管理 评审 的 主要 任务 : 重点 是 审查 过 程 是 否 规 范 ， 组 织 是 否 有 效 ， 计划 是 否 满足 要 求 ， 
相互 关系 处 理 是 否 合理 等 ， 并 最 终 确 定 是 否 通过 评审 。 

1. 产品 测试 方案 审查 

(1) 审查 目的 

审查 产品 测试 计划 和 测试 说 明 的 正确 性 和 充分 性 ,“ 测 试 软件 ”和 “被 测试 软件 ”是 和 否 
作 好 充分 准备 ， 测 试 的 组 织 和 环境 是 否 符合 要 求 ， 是 否 可 以 作为 产品 测试 的 依据 ， 确 定 可 
否 进行 产品 测试 。 

(2) 审查 对 象 

《软件 产品 测试 计划 》、《 软 件 产品 测试 说 明 》。 

(3) 审查 开始 条 件 

口 ”测试 组 织 、 人 员 准 备 就 绪 ; 
测试 软件 和 环境 准备 就 绪 ; 
软件 开发 方 已 将 被 测 软 件 系统 置 于 配置 管理 之 下 ; 
软件 系统 测试 已 通过 评审 ; 
提出 申请 并 提前 若干 天 把 拟 制 好 的 《软件 产品 测试 计划 》 和 《软件 产品 测试 说 明 》 
送 达 参 加 评审 的 专家 。 

(4) 审查 内 容 及 要 求 
口 ” 审 查 文档 是 否 符合 规范 。 《软件 产品 测试 计划 》、《 软 件 产 品 测试 说 明 》 应 符合 相关 
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标准 的 编写 要 求 ; 
口 “” 审 查 测试 环境 是 否 满足 要 求 。 软 件 产品 测试 环境 应 是 真实 应 用 的 软 、 硬 件 运 行 环 
境 。 如 果 是 仿真 环境 ， 就 要 审查 其 与 真实 环境 的 差异 ， 以 确定 获得 测试 结果 的 合 
理性 ; 
口 ”审查 测 试 计划 中 的 组 织 和 人 员 是 否 具 有 独立 性 。 设 计 测 试用 例 、 软 件 产品 测试 活 
动 的 组 织 和 人 员 应 具有 独立 性 ; 
口 审查 所 采用 的 测试 方法 是 否 合理 、 有 效 ; 
口 审查 测试 用 例 的 正确 性 和 充分 性 。 对 测试 组 设计 的 测试 用 例 按照 《标准 》 中 的 规 
定 与 《软件 开发 任务 书 》 或 《系统 / 子 系统 设计 文档 》 中 的 要 求 逐 项 检查 ， 看 是 否 
全 部 满足 要 求 。 
(5) 审查 结论 及 处 理 方法 
首先 是 技术 审查 ， 结 论 分 以 下 两 种 : 通过 或 不 通过 。 在 通过 的 情况 下 ， 测 试 组 可 能 要 
对 提出 的 软件 问题 限期 修改 ， 修 改 完成 后 ， 软 件 技术 审查 组 负责 人 审查 通过 并 签字 后 可 转 
入 下 一 阶段 工作 。 不 通过 的 情况 ， 不 能 转 入 下 一 阶段 工作 。 对 提出 的 问题 由 测试 组 进行 整 
改 后 ， 重 新 提出 评审 申请 并 进行 复审 。 复 审 的 步骤 与 首次 评审 相同 。 
然后 是 管理 评审 ( 即 终审 )， 结 论 同样 分 以 下 两 种 : 通过 或 不 通过 。 技 术 组 审查 结论 为 
通过 ， 并 且 在 管理 评审 中 没有 发 现 重 要 问题 ( 注 : 技术 组 审查 时 没有 发 现 的 ) 时 ， 评 审结 
论 为 “通过 ”， 对 评审 中 存在 的 问题 ， 限 期 由 测试 组 进行 修改 ,修改 完成 并 经 评审 委员 会 主 
任 签字 认可 后 ， 可 转 入 下 一 阶段 工作 。 不 通过 的 情况 是 : 技术 组 审查 结论 为 不 通过 ， 或 者 
在 管理 评审 过 程 中 发 现 重要 问题 ( 注 : 技术 组 审查 时 没有 发 现 的 ) 时 ， 则 评审 结论 为 “不 
通过 ”， 即 不 能 转 入 下 一 阶段 工作 。 对 提出 的 问题 由 测试 组 重新 做 工作 后 ， 再 提出 评审 申请 
进行 复审 。 复 审 的 步骤 与 首次 评审 相同 。 
@ 评审 结论 的 处 理 
整理 并 形成 评审 文件 (评审 申请 、 评 审 会 议 日 程 安排 表 、 软 件 评 审问 题 (技术 组 ) 记 
录 表 、 参 加 评审 会 的 软件 技术 组 成 员 登 记 表 、 评 审 委员 会 成 员 登 记 表 、 软 件 技术 组 审查 报 
告 表 、 评 审结 论 等 )。 评 审 通过 处 理 : 不 存在 问题 时 ， 将 评审 文件 形成 配置 文档 纳入 配置 管 
理 ， 转 入 下 一 阶段 工作 ; 存在 问题 时 ， 测 试 组 对 提出 的 问题 进行 修改 ， 修 改 情况 由 评审 委 
员 会 主任 、 软 件 技术 组 负责 人 审查 、 签 字 后 ， 将 修改 情况 和 评审 文件 形成 配置 文档 纳入 配 
置 管理 ， 转 入 下 一 阶段 工作 。 评 审 不 通过 的 处 理 : 当 测 试 方案 评审 未 通过 时 ， 说 明 还 存在 
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重大 问题 ， 将 评审 文件 形成 配置 文档 纳入 配置 管理 ， 测 试 组 应 根据 审查 意见 重新 进行 测试 


准备 ， 完 成 后 再 提出 本 阶段 复审 申请 〈 注 : 进行 复审 的 步骤 与 首次 评审 相同 )。 

@@ 形成 评审 配置 文档 

形成 本 阶段 评审 配置 文档 。 它 是 配置 管理 项 的 组 成 部 分 ， 内 容 包 括 : 评审 文件 、 测 试 
组 提交 的 本 阶段 评审 文档 等 ， 将 评审 配置 文档 纳入 软件 配置 管理 ， 作 为 下 一 阶段 工作 的 


依据 。 


@ 技术 组 保留 评审 文件 

在 软件 技术 组 保留 本 阶段 评审 文件 的 副本 。 作 为 检查 本 阶段 评审 后 续 工 作 落 实 的 依据 
和 下 阶段 评审 进入 的 条 件 。 内 容 包 括 : 评审 文件 、 测 试 组 提交 的 本 阶段 评审 文档 等 。 

2. 产品 测试 结果 评审 

(1) 评审 目的 


口 
口 
口 
口 


口 


审查 软件 产品 测试 是 否 在 真实 应 用 环境 或 认可 的 仿真 环境 下 运行 ; 

审查 测试 活动 的 独立 性 ; 

审查 测试 过 程 和 测试 结果 的 有 效 性 ; 

审查 软件 系统 是 否 满足 了 《软件 开发 任务 书 》 或 《系统 / 子 系统 设计 文档 》 的 全 间 
要 求 ; 

审查 是 否 完成 了 开发 、 测 试 阶段 的 全 部 工作 。 


(2) 评审 对 象 

软件 产品 测试 阶段 的 工作 及 测试 记录 、《 软 件 产品 测试 报告 》 等 文档 ; 同时 可 能 对 《 软 
件 产品 测试 计划 入 《软件 产品 测试 说 明 》《 软 件 开 发 任务 书 》 和 《系统 / 子 系统 设计 文档 》 
进行 审查 。 

(3) 评审 的 初始 条 件 


口 
口 
口 


已 通 过 软件 产品 测试 方案 审查 ; 
软件 测试 组 提出 评审 申请 ; 
己 完 成 软件 产品 测试 ， 并 通过 内 部 审查 ; 


口 ”提前 若干 天 将 完备 的 测试 文档 送 达 参 加 评审 的 每 位 软件 技术 组 成 员 手 中 。 

(4) 评审 内 容 及 要 求 

@ 审查 测试 文档 和 测试 记录 是 否 满足 要 求 

提交 《软件 产品 测试 报告 》， 完 备 的 软件 产品 测试 记录 〈 即 : 测试 记录 的 内 容 应 包括 每 
项 测试 的 时 间 、 参 加 测试 的 人 人员、 环境、 目的 、 方 法、 测试 输入 、 预 期 结果 和 测试 结果 ， 
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结果 不 一 致 的 处 理 等 )， 测 试 文档 齐全 。 

@ 审查 测试 过 程 的 有 效 性 

测试 是 否 按照 原 定 的 测试 计划 和 测试 说 明 的 内 容 和 步骤 进行 的 测试 ， 审查 整个 测试 过 
程 的 独立 性 ;审查 测试 环境 是 否 符合 要 求 ; 测试 过 程 中 有 无 变更 ， 对 变更 部 分 做 出 合理 解 
释 ; 测试 结果 的 评估 方法 正确 性 ， 实 测 结果 的 偏差 都 要 在 可 接受 的 范围 之 内 。 

@ 审查 测试 过 程 的 一 致 性 

软件 产品 测试 计划 与 “软件 开发 任务 书 ” 或 “系统 / 子 系统 设计 文档 ”的 全 部 要 求 是 否 
保持 一 致 ， 测 试 实施 过 程 与 软件 产品 测试 计划 和 测试 说 明 是 否 保持 一 致 ， 测试 结果 、 测 试 
记录 、 测 试 报告 与 实际 测试 过 程 是 否 一 致 。 

@ 审查 测试 结果 、 测 试 说 明 、 测 试 报告 合理 可 信 

按 “ 软 件 产品 测试 说 明 ” 中 的 测试 项 目 逐 项 审查 ， 看 是 否 全 部 进行 了 测试 和 检查 ; 是 
和 否 按照 原 定 的 测试 计划 和 测试 说 明 规 定 的 内 容 和 方案 无 遗漏 地 进行 了 测试 ， 对 未 测试 项 目 
所 做 的 解释 和 说 明 是 否 能 够 接受 审查 测试 记录 是 否 真实 可 信 ; 审查 测试 结果 与 预期 结果 
的 符合 程度 ， 有 差异 的 部 分 是 否 在 合理 的 范围 内 ; 审查 对 测试 中 出 现 的 异常 处 理 是 否 规范 ， 
结果 是 否 合理 。 对 测试 中 出 现 的 异常 或 结果 超出 正常 范围 的 测试 ， 测 试 组 是 否 按 要 求 对 其 
进行 了 规范 处 理 或 回归 测试 ， 软 件 产品 测试 中 是 否 至 少 有 一 次 覆盖 了 任务 的 全 过 程 ， 审 查 
软件 产品 测试 中 ， 有 无 在 真实 环境 下 ， 对 系统 的 稳定 性 、 安 全 性 和 可 靠 性 进行 了 测试 ， 审 
查 测试 过 程 是 否 进行 了 在 真实 运行 环境 下 协调 处 理 能 力 的 测试 。 

(5) 通过 准则 及 处 理 意见 

在 此 阶段 将 判定 测试 是 否 已 达到 预定 目标 并 可 接受 ， 生 成 测试 结果 报告 。 参 阅 测试 计 
划 中 有 关 测试 覆 盖 和 缺陷 评估 等 策略 ， 检 查 测试 结果 、 缺 陷 和 缺陷 分 析 ， 确 认 测试 是 否 满 
足 标准 要 求 。 

@ 软件 产品 测试 通过 准则 。 一 般 在 软件 产品 测试 计划 中 给 出 ， 是 该 阶段 评审 的 依据 ; 

@ 软件 评审 技术 组 成 员 根据 软件 产品 测试 通过 准则 的 技术 要 求 给 出 软件 产品 测试 的 
结论 ; 

@ 评审 委员 会 根据 评审 情况 及 软件 评审 技术 组 的 意见 ， 给 出 最 终 的 评审 意见 或 结论 ; 

@ 评审 结论 处 理 。 

整理 并 形成 评审 文件 (评审 申请、 评审 会 议 日 程 安排 表 、 软 件 评审 问题 (技术 组 ) 记 
录 表 、 参 加 评审 会 的 软件 技术 组 成 员 登 记 表 、 评 审 委员 会 成 员 登 记 表 、 软 件 技术 组 审查 报 
告 表 、 评 审 意见 或 结论 等 )。 评 审 通过 处 理 : 不 存在 问题 时 ， 将 评审 文件 形成 配置 文档 纳入 
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配置 管理 , 还 存在 问题 时 , 测试 组 对 提出 的 问题 进行 修改 和 回归 测试 ， 由 评审 委员 会 主任 、 
软件 技术 组 负责 人 审查 、 签 字 后 ， 将 修改 情况 和 评审 文件 形成 配置 文档 纳入 配置 管理 。 注 
意 ， 要 保证 评审 配置 文档 的 完整 性 ， 整 个 测试 阶段 的 全 部 软件 工作 文档 包括 :“ 软 件 产品 测 
试 计划 ”“ 软 件 产品 测试 说 明 ”“ 软 件 产 品 测试 报告 ”测试 记录 或 测试 日 志和 回归 测试 过 
程 中 产生 的 文件 和 记录 等 。 评 审 不 通过 处 理 ， 还 存在 重大 问题 ， 将 评审 文件 形成 配置 文档 
纳入 配置 管理 ; 测试 组 应 根据 评审 意见 ， 有 以 下 几 种 选择 : i 收集 附加 信息 : 产生 不 同 的 报 
告 ， 如 不 同 的 缺陷 密度 报告 ， 研究 处 理 过 程 ， 判 断 是 否 有 未 知 的 条 件 影 响 到 测试 标准 ， 从 
实际 情况 出 发 ， 如 必要 ， 重 新 制定 标准 。ii 建议 附加 测试 : 进行 新 的 测试 ， 增 加 测试 的 深 
度 和 测试 获 盖 的 广度 。 痢 修改 测试 标准 : 检查 和 评估 更 改 测试 标准 的 风险 ， 标 出 能 够 满足 
测试 标准 软件 的 子 集 ， 并 决定 它 能 否 发 布 。 

@ 形成 评审 配置 文档 。 

形成 本 阶段 评审 配置 文档 。 它 是 配置 管理 项 的 组 成 部 分 ， 内 容 包 括 : 评审 文件 、 测 试 
组 提交 的 本 阶段 评审 文档 等 ， 将 评审 配置 文档 纳入 软件 配置 管理 下 。 


4.1.7 ”测试 文档 


0 -系列 的 文档 ， 如 测试 计划 、 测 试 说 明 、 测 试 记录 日 志和 测试 
报告 民 告 ( 含 软件 问题 报告 ) 


4.2 性 能 测试 


性 能 测试 主要 是 测试 软件 产品 在 实际 应 用 中 的 性 能 特征 。 不 同 的 运行 环境 ， 测 试 的 结 
果 也 会 有 所 不 同 。 特 别 是 实时 系统 、 和 嵌入 式 系统 等 对 性 能 要 求 更 严格 一 些 。 在 某 些 软件 质 
量 模型 中 ， 将 软件 质量 特性 划分 为 6 种 。 本 章 所 述 性 能 测试 ， 对 应 软件 质量 特性 中 的 效率 
特性 。 这 种 测试 主要 包括 : 响应 时 间 、 吞 叶 量 、 辅 助 存储 区 〈 如 缓冲 区 和 工作 区 的 大 小 等 人 
处 理 精 度 等 。 


4.2.1 测试 目的 


软件 产品 的 性 能 测试 ， 是 要 检查 系统 是 否 满足 在 需求 规格 说 明 书 中 规定 的 性 能 要 求 。 
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软件 只 满足 功能 要 求 而 达 不 到 要 求 的 性 能 是 不 行 的 ， 所 以 必须 进行 性 能 测试 。 
4.2.2 测试 内 容 


软件 产品 性 能 测试 应 主要 包括 两 个 方面 : 时 间 特 性 和 资源 特性 。 

(1) 时 间 特 性 

在 规定 的 条 件 下 ， 在 有 了 时间 限制 要 求 时 ， 测 试 软件 完成 要 求 功能 的 时 间 量 ; 测试 软件 
对 特定 功能 的 响应 时 间 、 处 理 时 间 及 其 吞吐 量 等 。 

(2) 资源 特性 

在 规定 的 条 件 下 ， 测 试 软件 产品 在 运行 时 占用 的 CPU 时 间 、 内 存 空 间 、 外 存 空 间 、 网 
络 容量 和 接口 等 资源 ， 根 据 需 求 测试 计算 机 软件 产品 资源 的 余 量 是 否 满足 “软件 需求 规格 
说 明 ” 的 要 求 。 


4.2.3 测试 方法 


性 能 测试 ， 关 键 是 要 获取 精确 的 度量 值 ， 即 在 时 间 特 性 测量 时 ， 要 有 高 分 辩 率 的 统一 
时 钟 ， 在 资源 特性 测量 时 ， 要 能 获取 最 大 工作 量 时 ， 资 源 使 用 情况 的 量化 值 。 通 常 采用 探 
针 法 获取 期 望 的 时 间 特 性 和 资源 特性 的 度量 值 。 所 谓 探 针 法 就 是 在 软件 系统 运行 到 适当 位 
置 时 ， 插 入 取 时 间或 取 资源 的 测试 程序 。 

(1) 测试 中 断 处 理 时 间 

口 “在 被 测 中 断 处 理 程序 入 口 ， 增 加 取 精 确 时 间 程 序 ; 

口 “在 被 测 中 断 处 理 程序 出 口 ， 增 加 取 精 确 时 间 程 序 ; 

口 ”开放 一 个 最 高 级 中 断 ; 

口 ”计算 中 断 进 入 与 退出 的 时 间 差 ， 该 差 值 即 为 中 断 处 理 时 间 ， 或 者 称 为 中 断 响应 时 

间 。 比 如 用 鼠标 打开 一 个 窗口 ， 从 鼠标 点 击 开 始 到 窗口 打开 完成 ， 就 是 一 个 中 断 
处 理 过 程 ， 所 用 的 时 间 就 是 中 断 处理 时 间 ， 通 常 也 称 为 《中断 ) 响应 时 间 。 

这 里 有 两 点 还 需 进 一 步 说明 。 人 为 什么 在 测试 时 要 开放 一 个 也 仅 一 个 最 高 级 中 断 ? 因 
为 当前 的 系统 都 是 多 中 断 多 优先 级 的 系统 ， 若 有 比 被 测试 的 中 断 优先 级 高 的 中 断 ， 或 同 级 
别 的 中 断 不 是 一 个 在 系统 中 活动 ， 所 测试 出 的 时 间 可 能 含有 被 打 断 的 时 间 ， 并 且 这 种 被 高 
级 别 或 同 级 别 中 断 ， 来 打 断 处 理 过 程 的 情况 是 正常 的 现象 。@ 测 试 需要 重复 多 次 (实际 次 
数 根据 需要 确定 )， 在 初始 条 件 不 变 的 情况 下 ， 测 试 获得 的 时 间 值 最 大 者 为 该 中 断 处 理 的 


时 间 。 
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(2) 测试 CPU 资源 的 使 用 情况 


医 | 
| 
口 


| 


确定 系统 配置 ， 如 PC 机 的 CPU 为 Pentium 4 /1.6GHz ; 

确定 系统 使 用 模式 ， 一 般 选 取 该 系统 中 CPU 使 用 量 最 大 的 模式 ; 

确定 使 用 模式 的 执行 周期 , 对 于 实时 系统 可 能 有 多 种 执行 周期 (如 50 毫秒 、1 秒 、 
10 秒 等 )， 对 于 非 实 时 系统 也 要 确定 一 个 执行 时 间 段 ; 

设计 CPU 余 量 统计 程序 。 主 要 功能 是 记录 本 程序 自身 所 用 的 CPU 时 间 ， 方 法 是 
首先 核准 本 程序 中 语句 (或 指令 ) 所 用 CPU 时 间 ， 根 据 记 录 时 间 的 精度 设 定 计数 
条 件 。 即 : 如 计数 精度 为 1 微 秒 ， 从 已 知 语句 的 执行 时 间 中 ， 选 取 1 微 秒 的 组 合 
语句 作为 一 个 计数 单位 。 计 数 存 放 位 置 设 为 共享 区 ， 与 测试 控制 程序 共用 。 运 行 
优先 级 设 为 最 低 优先 级 ， 并 一 直 处 于 执行 状态 ; 

设计 CPU 测试 控制 程序 。 主 要 功能 是 控制 测试 开始 与 结束 ， 获 取 开 始 与 结束 的 
CPU 余 量 计数 。 如 测试 50 毫秒 执行 周期 的 程序 时 ， 控 制程 序 从 50 毫秒 信号 到 达 
时 记录 CPU 余 量 计数 作为 测试 开始 计数 ， 到 下 一 个 50 毫秒 信号 到 达 时 记录 CPU 
余 量 计数 作为 测试 结束 计数 ， 其 差 值 就 是 该 执行 周期 的 CPU 余 量 。 如 测试 非 实 时 
系统 的 CPU 开销 时 ， 依 选 定 的 测试 时 间 段 ， 获 取 测 试 开 始 与 结束 的 CPU 余 量 计 
数 ， 即 为 该 软件 执行 时 段 的 CPU 余 量 ; 

分 析 并 计算 测试 结果 ， 依 据 系统 配置 ， 由 测试 得 到 的 CPU 余 量 值 ， 计 算出 软件 产 
品 在 设 定 条 件 下 的 CPU 开销 。 


(3) 测试 内 存 资源 的 使 用 情况 


口 
口 


口 


口 


确定 系统 使 用 模式 ， 一 般 选 取 该 系统 中 内 存 使 用 量 最 大 的 模式 ; 

确定 使 用 模式 的 执行 周期 ， 对 于 实时 系统 可 能 有 多 种 执行 周期 ， 对 于 非 实时 系统 
也 要 确定 一 个 执行 时 间 段 ; 

在 一 个 执行 周期 内 ， 设 置 若干 内 存 资源 使 用 情况 查询 点 (查询 点 多 且 分 布 合理 ， 
则 结果 的 准确 性 高 )， 并 记录 每 点 的 查询 值 ; 

分 析 测 试 结果 ， 吻 除 原 始 值 ， 一 般 将 测试 结果 中 较 大 的 值 作为 该 软件 产品 使 用 内 
存 资源 的 值 。 


(4) 测试 网 络 使 用 率 


口 
a 


确定 网 络 节点 数 和 传输 方式 ; 
设计 网 络 发 送 程序 ， 该 程序 主要 功能 有 : 获取 并 记录 开始 发 送 时 间 和 结束 发 送 时 
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间 ; 记录 发 送 的 帧 数 和 数据 量 ;测试 启动 一 般 由 测试 操作 员 负 责 ， 结 束 由 测试 程 
序 按 预 定 发 送 的 帧 数控 制 ; 

口 ”设计 网 络 接收 程序 ， 该 程序 主要 功能 有 : 获取 并 记录 接收 第 一 帧 的 时 间 和 最 后 一 
帧 的 时 间 ; 记录 接收 的 帧 数 和 数据 量 ;测试 启动 一 般 由 测试 操作 员 负 责 ， 结 束 由 
测试 程序 按 预定 接收 的 帧 数控 制 ; 

口 “分 析 测试 结果 ， 计 算 单位 时 间 内 收发 的 数据 量 ， 并 计算 出 与 网 络 硬件 标 称 速度 的 
比率 ， 该 比率 就 是 被 测试 软件 使 用 网 络 的 最 大 效率 〈 一 般 情 况 获取 的 使 用 率 乏 
80% )。 


4.2.4 测试 结果 


通过 软件 产品 的 性 能 测试 ， 可 以 给 出 该 软件 产品 一 些 有 代表 性 的 特征 值 : 如 系统 响应 
时 间 、 吞吐 率 、 占 用 CPU 时 间 、 内 存 空间 和 外 存 空间 等 , 还 可 以 提出 保证 软件 正常 使 用 时 
系统 配置 的 最 低 量化 指标 和 软件 产品 应 达到 的 性 能 指标 。 目 前 市 场 上 流通 的 软件 产品 有 如 
下 标注 : 

(1) 如 《课件 大 师 》 软 件 工具 的 使 用 条 件 要 求 : 

口 ” 处 理 器 PC586 以 上 ; 

口 内 存 16MB 以 上 ; 

口 硬盘 ”80MB 以 上 剩余 空间 ; 

口 光驱 2 倍速 以 上 。 

(2) 又 如 《中 国 大 百科 全 书 》 电 子 版 的 使 用 条 件 要 求 : 

口 处理 器 ”奔腾 100 以 上 ; 

口 内 存 16MB 以 上 ; 

口 硬盘 20MB 以 上 剩余 空间 ; 

口 光驱 4 倍速 以 上 。 

这 些 软件 产品 标注 是 通过 性 能 测试 后 ， 为 达到 软件 产品 的 基本 使 用 性 能 ， 而 提出 的 软 
件 运行 环境 的 最 低 系统 配置 要 求 。 


4.2.5 ”测试 文档 


参照 4.1.7 节 要 求 。 
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4.3 B (Beta) 测试 


B (Beta) 测试 ， 是 由 用 户 在 实际 使 用 环境 下 对 软件 产品 进行 试用 性 的 测试 。 这 是 纯 第 
三 方 测试 ， 或 者 称 为 软件 产品 的 外 部 测试 。 很 多 软件 产品 生产 者 在 产品 发 布 之 前 采用 B 
(Beta) 测试 方法 ， 以 发 现 可 能 只 有 最 终 用 户 才能 发 现 的 错误 。 


4.3.1 测试 目的 


B (Beta) 测试 的 目标 可 能 很 广泛 ， 但 主要 目的 是 测试 软件 产品 的 功能 、 性 能 及 受用 户 
欢迎 的 程度 , 所 以 BCBeta) 测试 应 尽 可 能 由 主持 产品 发 行 的 人 员 来 管理 。 实 践 证 明 , B(Beta) 
测试 是 将 独立 的 、 翔 实 的 测试 数据 回归 到 软件 开发 单位 或 主管 单位 的 好 办 法 。 但 是 必须 正 
确定 义 和 科 学 管理 才能 取得 好 效果 。 


4.3.2 ”测试 内 容 


B (Beta) 测试 的 内 容 是 ， 检 查 软件 需求 规格 说 明 、 用 户 手 册 (和 /或 操作 手册 ) 和 程序 
的 执行 文件 三 者 的 一 致 性 和 可 操作 性 。 


4.3.3 测试 方法 


在 软件 产品 的 实际 使 用 环境 下 ， 用 户 依据 软件 需求 规格 说 明 中 规定 的 功能 与 性 能 ， 按 
照 用 户 手册 〈 和 /或 操作 手册 ) 的 说 明 ， 尽 可 能 多 而 全 面 地 使 用 系统 。 但 B〈Beta) 测试 的 
管理 者 还 需 考 虑 以 下 几 个 问题 : 

(1) 谁 是 B (Beta) 测试 的 用 户 ? 由 于 B (Beta) 测试 可 能 有 不 同 的 目标 ， 因 此 有 必 
要 了 解 谁 参加 B (Beta) 测试 。 例 如 ， 想 要 指出 软件 中 的 易 用 性 缺陷 ， 但 是 B (Beta) 测试 
用 户 可 能 全 是 有 经 验 的 技术 人 员 ， 他 们 更 关心 底层 操作 ， 而 不 是 易 用 性 。 所 以 软件 产品 在 
进行 B (Beta) 测试 前 ， 一 定 要 指定 所 需 的 B (Beta) 测试 用 户 的 类 型 ， 以 便 从 中 获得 最 大 
收益 。 

(2) 同样 ， 怎 样 知道 B (Beta) 测试 用 户 使 用 过 同类 软件 呢 ? 如 果 有 1000 个 B (Beta) 
测试 用 户 拿 到 软件 使 用 一 个 月 后 ， 报 告 没有 发 现 问题 。 那 么 是 没有 软件 缺陷 ， 还 是 看 到 软 
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件 缺 陷 没有 报告 ， 或 是 邮寄 的 磁盘 丢失 了 呢 ? B〈Beta) 测试 用 户 先 把 软件 放 上 几 天 才 开始 
使 用 的 现象 并 不 少见 ， 当 他 们 开始 使 用 时 ， 使 用 时 间 和 特性 都 很 有 限 。 执 行 B (Beta) 测试 
管理 的 人 员 一 定 要 追问 参加 B (Beta) 测试 的 用 户 ， 以 保证 他 们 真正 使 用 软件 并 符合 计划 的 
目标 。 


(3) B (Beta) 测试 可 以 成 为 寻找 配置 和 兼容 性 软件 缺陷 的 好 方法 。 明 确 和 测试 所 有 
实际 硬件 设备 与 软件 的 典型 样本 是 非常 困难 的 ， 如果 B (Beta) 测试 用 户 明智 地 挑选 ， 找 到 
代表 性 强 的 客户 ， 他 们 就 会 帮 大 忙 ， 有 可 能 找 出 配置 和 兼容 性 软件 缺陷 。 

(4) B (Beta) 测试 的 另 一 个 领域 是 易 用 性 测试 ， 条 件 是 精心 挑选 参加 者 。 即 有 经 验 
的 用 户 和 无 经 验 的 用 户 完美 结合 ， 他 们 是 第 一 次 看 到 软件 ， 将 会 轻松 找 出 难以 理解 和 使 用 
的 地 方 。 

(5) B (Beta) 测试 ， 在 寻找 软件 缺陷 方面 有 时 会 出 人 意料 地 差 。 由 于 参加 者 一 般 没 
有 足够 的 时 间 使 用 软件 ， 因 此 他 们 只 能 找 出 明显 的 问题 ， 有 些 可 能 还 是 已 经 知道 的 问题 。 

(6) B (Beta) 测试 会 耗费 管理 人 员 和 开发 人 员 大 量 时 间 。 常 见 的 任务 是 与 B (Beta) 
测试 用 户 一 起 ， 帮 助 解决 和 回答 他 们 提出 的 使 用 问题 ， 并 确认 他 们 找到 的 软件 缺陷 。 


4.3.4 测试 过 程 


进行 8〈《Beta) 测试 ， 是 软件 发 布 之 前 最 后 一 个 测试 环节 ， 其 过 程 如 下 : 

(1) 参加 测试 的 用 户 与 公司 签订 支持 产品 预 发 行 合同 ， 即 B〈Beta) 测试 合同 。 

(2) 在 无 开发 者 在 场 的 实用 环境 下 ， 由 用 户 对 软件 产品 进行 全 面 、 深 入 的 应 用 ， 按 要 
求 详细 记录 遇 到 的 所 有 问题 ， 包 括 用 户主 观 认 定 不 满意 的 问题 。 

(3) 测试 用 户 应 在 合同 规定 的 期 限 内 ， 向 开发 者 报告 软件 产品 在 使 用 过 程 中 所 记录 的 
问题 和 不 满意 的 地 方 。 

(4) 开发 者 在 综合 测试 用 户 的 报告 之 后 ， 根 据 实际 情况 对 软件 产品 做 出 修改 。 

(5) 软件 产品 发 行者 主持 B (Beta) 测试 阶段 的 评审 ， 确 定 产品 是 否 具 备 发 布 的 条 件 。 


4.3.5 测试 评审 


软件 产品 发 行者 组 织 同行 专家 对 B (Beta) 测试 阶段 进行 评审 ， 内 容 有 两 个 方面 : 测试 
和 缺陷 修复 ， 以 确定 软件 产品 是 否 可 以 转 入 发 行 期 。 
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4.4 Benchmark (基准 ) 测试 


目前 ， 市 场 上 计算 机 系统 〈 含 硬件 和 软件 ) 的 类 型 繁多 ， 所 采用 的 技术 也 各 不 相同 ， 
虽然 各 厂商 都 声称 自己 产品 的 种 种 优势 ， 但 事实 上 各 厂商 的 产品 和 技术 是 各 有 所 长 ， 也 各 
有 所 短 。 由 于 评价 计算 机 产品 涉及 到 很 大 的 商业 利益 ， 各 厂商 很 难 对 自己 的 产品 做 出 客观 
公正 的 评价 。 为 了 推动 技术 的 发 展 和 指导 用 户 进行 合理 选 型 ,产生 了 许多 中 立 的 非 奏 利 测 
试 机 构 。 它 们 制定 了 一 系列 计算 机 产品 的 主要 指标 ， 并 且 经 常 公布 各 厂商 或 用 户 提交 的 指 
标 值 ， 使 得 分 析 界 、 媒 体 和 广大 用 户 在 评价 各 厂商 产品 时 有 一 个 比较 客观 和 可 靠 的 依据 ， 
同时 也 有 利于 推动 计算 机 技术 进一步 发 展 。Benchmark 测试 是 一 种 常用 的 计算 机 系统 性 能 
横向 比较 的 测试 方式 。 


4.4.1 测试 目的 


计算 机 硬件 性 能 可 以 用 系统 能 达到 的 执行 指令 最 大 速率 来 量度 。 如 : 最 普通 的 量度 标 
准 是 每 秒 执行 百 万 指令 数 (mips) 和 每 秒 执行 百 万 浮 点 操作 数 Cmflops)。 但 是 ， 这 些 量度 
指标 的 实用 价值 是 十 分 有 限 的 ， 它 们 只 能 给 出 理论 上 最 大 的 性 能 ， 并 没有 全 面 反 映 计 算 机 
系统 的 实际 性 能 。 用 户 更 无 法 直接 比较 厂商 提供 的 性 能 指标 值 。Benchmark 测试 就 是 为 了 
解决 上 述 问 题 ， 才 发 展 壮 大 起 来 的 。 即 由 某 些 中 立 的 非 俐 利 机 构 开发 出 一 组 经 过 精心 设计 
和 组 合 的 程序 , 来 量度 计算 机 系统 运行 这 组 程序 的 性 能 指标 。 此 类 程序 一 般 称 为 Benchmark 
测试 程序 。 不 同 的 计算 机 系统 运行 同一 组 Benchmark 测试 程序 ， 这 样 就 可 以 相当 客观 地 比 
较 计算 机 系统 的 性 能 。 

目前 有 许多 专门 设计 Benchmark 测试 程序 和 管理 各 种 计算 机 系统 Benchmark 测试 指标 
的 机 构 ， 其 中 最 著名 的 是 SPEC 〈 标 准 性 能 评估 机 构 ， 英 文 全 名 是 Standard Performance 


Evaluation Corporation ) 。 
4.4.2 测试 内 容 


Benchmark 测试 可 以 分 为 如 下 3 类 : 
(1) 工业 标准 Benchmark 测试 。 主 要 测试 计算 机 系统 的 系统 性 能 指标 。 
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(2) 标准 应 用 Benchmark 测试 。 主 要 用 于 测试 计算 机 系统 执行 某 种 标准 的 应 用 性 能 
指标 。 

(3) 实际 应 用 Benchmark 测试 。 多 数 独立 软件 开发 商 〈ISV) 都 制定 了 计算 机 系统 运 
行 本 公司 开发 的 软件 产品 的 Benchmark 测试 指标 。 


4.4.3 测试 方法 


以 当前 最 流行 的 测试 程序 组 为 例 ， 介 绍 工业 标准 、 标 准 应 用 和 实际 应 用 的 Benchmark 
测试 的 实现 方法 。 

1. 工业 标准 Benchmark 测试 

介绍 两 种 常用 的 Benchmark 测试 程序 组 。 

(1) SPEC CPU2000 基准 测试 

SPEC CPU2000 基准 测试 主要 用 于 测试 计算 机 系统 的 处 理 器 子 系统 的 性 能 指标 。SPEC 
CPU2000 基准 测试 是 在 SPEC CPU95 基础 上 发 展 起 来 的 ， 由 两 组 测试 程序 组 成 ， 即 
CINT2000 和 CFP2000。 它 们 分 别 测量 计算 机 系统 执行 以 整数 运算 为 主 和 以 浮 点 运算 为 主 的 
应 用 软件 性 能 指标 ， 给 出 4 个 测试 结果 值 : 

@ SPECint 2000 单 CPU 计算 机 系统 ， 执 行 以 整数 运算 为 主 应 用 软件 的 性 能 指标 ; 

@ SPECfp 2000 单 CPU 计算 机 系统 ， 执 行 以 浮 点 运算 为 主 应 用 软件 的 性 能 指标 ; 

@ SPECint rate2000 多 CPU 计算 机 系统 ,执行 以 整数 运算 为 主 应 用 软件 的 性 能 指标 ; 

@ SPECfp_rate2000 多 CPU 计算 机 系统 ,执行 以 浮 点 运算 为 主 应 用 软件 的 性 能 指标 。 

前 两 项 指标 一 般 称 为 核心 SPEC 基准 测试 指标 ， 是 为 测量 CPU 性 能 而 设计 的 。 它 们 主 
要 测量 CPU 和 高 速 缓存 的 性 能 ， 在 某 种 程度 上 也 反映 内 存 子 系统 的 性 能 。 由 于 CPU 不 能 
单独 执行 程序 ， 所 以 人 们 也 经 常 使 用 核心 SPEC 基准 测试 指标 来 度量 CPU 芯片 的 速度 。 但 
是 ， 它 们 并 不 测试 多 CPU 性 能 、CPU 间 通 信 或 系统 级 内 存 带宽 等 。 因 此 ， 有 时 很 小 的 系统 
可 能 提供 比 大 系统 还 要 高 的 核心 基准 测试 指标 。 当 然 这 并 不 意味 着 小 系统 比 大 系统 的 实际 
信息 处 理 能 力 强 ， 而 是 由 于 测试 的 局 部 性 带 来 的 误区 。 

后 两 项 指标 是 Rate 基准 测试 ， 将 负载 加 在 整个 系统 上 ， 用 于 测量 多 处 理 器 系统 的 性 能 
背 标 ， 特 别 强调 CPU 个 数 、 系 统 级 内 存 性 能 等 。Rate 基准 测试 指标 随 着 CPU 个 数 的 增加 
而 提高 。 所 以 使 用 核心 基准 测试 指标 来 反映 CPU 本 身 和 单 CPU 系统 的 指标 ， 利 用 Rate 基 
准 测试 指标 来 反映 多 处 理 器 和 多 计算 机 系统 的 性 能 指标 。 
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SPEC CPU2000 使 用 如 下 两 组 基准 测试 程序 : 

@ 整数 基准 测试 程序 组 CINT2000, 由 12 个 执行 整数 计算 的 程序 组 成 , 这 些 程序 大 都 
是 用 C 语言 编写 的 ， 其 中 有 一 个 (252.eon) 是 用 C++ 编写 的 ， 所 给 出 的 SPECint 2000 和 
SPECint_rate2000 指标 是 计算 机 系统 执行 这 12 个 程序 的 性 能 平均 的 结果 。 其 程序 功能 为 : 

口 ”数据 压缩 实用 程序 (名 : 164.gzip); 

FPGA 电路 布线 (名 : 175.vpr); 

C 语言 编译 程序 (名: 176.gcc); 

最 小 成 本 网 络 流 求解 程序 (名 : 181.mcf); 
下 棋 程序 (名: 186.crafty); 

自然 语言 处 理 程序 (名 : 197.parser); 
光线 示 踪 (名 : 252.eon); 

Perl (名 : 253.perlbmk ); 

计算 群 论 (名 : 254.gap); 
面向 对 和 象 数 据 库 (名 : 255.vortex); 

数据 压缩 实用 程序 (名 : 256.bzip2); 

口 ”位 置 和 路 由 仿真 程序 (名 : 300.twolf)。 

@ 浮 点 基准 测试 程序 组 CFP2000， 由 14 个 执行 浮 点 计算 的 程序 组 成 ， 这 些 程序 中 6 
个 是 用 Fortran77 语言 编写 的 ,4 个 是 用 Fortran90 语言 编写 的 ,4 个 是 用 C 语言 编写 的 。 所 
给 出 的 SPECfp_2000 和 SPECfp_rate2000 测试 指标 是 计算 机 系统 执行 这 14 个 程序 的 性 能 平 
均 的 结果 。 其 程序 功能 为 : 

口 量子 色彩 动力 学 (名 : 168.wupwise); 
浅水 模型 (名 : 171.swim); 

多 网 格 方法 求解 3D 位 势 场 (名: 172.mgrid); 
抛物 /椭圆 偏 微分 方程 (名 : 173.applu); 

3D 图 形 库 (名 : 177.mesa); 

流体 动力 学 (名 : 178.galgel); 
神经 网 络 模拟 ， 自 适应 推理 (名 : 179.art); 
有 限 元 模拟 地震 模 型 (名 : 183.equake); 
计算 机 视觉 识别 人 像 (名 : 187.facerec); 
计算 化 学 (名 : 188.ammp); 


DCOOODODOOOOO DO 
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数论 ， 质数 测试 (名 : 189.lucas ); 
有 限 元 碰撞 模拟 (名 : 191.fma3d); 
粒子 加 速 器 模型 (名 : 200.sixtrack); 
求解 大 气温 度 、 风 向 、 速 度 和 污染 物 分 布 问题 (名: 301.apsi)。 

(2) McCalpin Streams 基准 测试 

McCalpin Streams 基准 测试 是 一 个 简单 的 人 造 基准 测试 程序 ， 用 于 测量 计算 机 系统 持 
续 内 存 带 宽 〈 以 MB/s 为 单位 ) 和 简单 的 向 量 核心 的 计算 速度 。 测 试 由 4 个 核心 程序 的 多 
次 迭代 组 成 。 其 程序 功能 为 : 

口 A (D =B (1), (名 : COPY; 字 节 /迭代 : 16 ; FOLPS/ 迭 代 : 0); 

口 A (1D =q*B (1)，( 名 : SCALE; 字 节 /迭代 : 16; FOLPS/ 迭 代 : 1); 

口 A (1) =B (1) +C (1), (名: SUM; 字 节 /迭代 : 24; FOLPS/ 迭 代 : 1); 

口 A (1D =B (1) +q*C (1), (名: TRIAD; 字 节 /迭代 : 24; FOLPS/ 迭 代 : 2)。 

2. 标准 应 用 Benchmark 测试 

标准 应 用 基准 测试 主要 用 于 测试 计算 机 系统 执行 某 种 标准 的 应 用 的 性 能 指标 。 在 本 节 
中 简要 介绍 几 种 主要 的 标准 应 用 基准 测试 。 

(1) SPEC WEB99 基准 测试 

SPEC WEB99 是 专门 用 于 测量 计算 机 系统 执行 Web 应 用 的 性 能 指标 。 过 去 SPEC 使 用 
SPEC WEB96 测量 服务 器 处 理 静 态 网 页 的 性 能 ， 衡 量 服务 器 对 HTTP 申请 或 对 “gets” 进 
行 服务 的 能 力 。SPEC WEB96 使 用 一 个 或 多 个 客户 机 向 Web 服务 器 发 送 HTTP 申请 , 然后 
软件 测量 每 个 申请 的 响应 时 间 。 最 后 ，SPEC WEB96 根据 总 吞吐 量 计算 出 每 秒 最 大 的 操作 
数量 。SPEC WEB99 目前 已 经 取代 SPEC WEB96 继续 把 最 客观 、 最 有 代表 性 的 Web 服务 
器 性 能 基准 测试 指标 提供 给 Web 用 户 。SPEC WEB99 是 在 SPEC WEB96 的 基础 上 发 展 起 
来 的 ， 其 中 主要 的 改进 有 : 

口 测量 同时 连接 除 HTTP 之 外 的 操作 ; 
仿真 线 速 有 限 的 连接 ; 
处 理 动 态 GET 和 静态 GET; 
执行 POST 操作 ; 
同时 支持 HTTP 1.0 和 HTTP 1.1 两 种 连接 ; 
文件 存 取 方式 更 加 接近 于 今天 现实 世界 的 Web 服务 器 访问 模式 ; 
提供 Windows NT 和 UNIX 下 的 自动 安装 程序 ; 


DOOoOo 
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口 ” 使 用 插 槽 进行 客户 机 间 的 通信 。 
(2) SPEC MAIL2000 基准 测试 
SPEC MAIL2000 基准 测试 专门 应 用 于 测量 电子 邮件 服务 器 ， 在 实际 工作 环境 中 提供 
Mail 访问 的 性 能 指标 。SPEC MAIL2000 主要 测量 用 户 数 在 1 万 ~100 万 之 间 的 ISP 的 电子 
邮件 服务 器 的 性 能 。 
(3) 面向 Java 应 用 基准 测试 
SPEC JVM98，SPEC JBB2000 用 于 测量 计算 机 系统 执行 Java 应 用 的 性 能 指标 。SPEC 
JVM98 是 应 用 于 Java 客户 机 的 基准 测试 , SPEC JBB2000 是 应 用 于 Java 服务 器 性 能 的 基准 
测试 。 
(4) Linpack 基准 测试 
Linpack 是 美国 田纳西 大 学 的 Jack Dongarra 创立 和 管理 的 基准 测试 指标 。 它 是 一 组 用 
于 分 析 、 求 解 线性 代数 方程 和 线性 最 小 二 乘 问题 的 Fortran 子 程序 ， 其 中 的 矩阵 可 以 是 一 般 
的 ， 也 可 以 是 对 称 正定 、 带 形 、 三 对 角 等 特殊 形状 。Linpack 广泛 应 用 于 测量 计算 机 系统 执 
行 浮 点 计算 特别 是 线性 代数 计算 ) 的 性 能 指标 。 
(5) SPEC HPC96 基准 测试 
SPEC HPC96 是 SPEC 高 性 能 计算 工作 组 开发 和 管理 的 基准 测试 ， 专 门 应 用 于 测量 计 
算 机 系统 执行 高 性 能 技术 应 用 的 性 能 指标 。 
(6) SPEC SFS97 基准 测试 
SPEC SFS2.0 是 SPEC 在 1997 年 12 月 宣布 的 ， 也 称 为 SPEC SFS97。 它 专门 应 用 于 测 
量 NFS 文件 服务 器 的 吞吐 能 力 和 响应 时 间 。SPEC SFS97 基准 测试 是 独立 于 客户 和 厂商 ， 
提供 一 个 标准 的 方法 ， 用 来 比较 不 同 厂商 计算 机 系统 执行 网 络 文 件 系统 应 用 的 性 能 指标 。 
(7) TPC-C 基准 测试 
TPC-C 是 事务 处 理性 能 委员 会 (简称 TPC 委员 会 ， 英 文 全 文 是 Transaction Processing 
Performance Council) 设计 的 ， 专 门 应 用 于 测量 计算 机 系统 执行 在 线 事务 处 理 的 性 能 指标 。 
经 常 使 用 的 TPC-C 结果 有 两 个 : 一 个 是 性 能 结果 tpmC， 表 示 系 统 的 吞吐 能 力 ， 即 每 分 钟 
执行 的 事务 处 理 数 ， 另 一 个 是 价格 /性 能 指标 $/tpmC， 表 示 计 算 机 系统 提供 每 个 tpmC 处 理 
能 力 的 成 本 。TPC 委员 会 是 一 个 专门 开发 和 管理 对 计算 机 系统 事务 处 理 能 力 进行 基准 测试 
的 机 构 。TPC 开发 的 事务 处 理 能 力 的 基准 测试 还 有 TPC-D、TPC-H 等 。 
(8) SPEC glperf 和 SPEC viewperf 基准 测试 
SPEC glperf 和 SPEC viewperf 是 专门 应 用 于 测量 计算 机 系统 执行 图 形 和 图 像 显示 方面 
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应 用 的 性 能 指标 。 

3. 实际 应 用 Benchmark 测试 

许多 重要 的 独立 软件 开发 商 (ISV) 都 制订 了 计算 机 系统 运行 本 公司 开发 的 软件 产品 的 
基准 测试 指标 。 这 些 基准 测试 对 于 计算 机 系统 生产 厂商 也 都 是 完全 中 立 的 。 虽 然 ISV 基准 
测试 的 环境 和 用 户 的 实际 环境 不 完全 相同 ， 但 是 用 户 购买 计算 机 系统 后 车 主要 运行 某 一 软 
件 ， 如 Oracle 数据 库 软件 ， 那 么 Oracle 的 基准 测试 指标 对 于 该 用 户 考察 各 种 计算 机 系统 ， 
在 自己 的 实际 环境 中 的 应 用 性 能 指标 ， 将 有 非常 大 的 参考 价值 ， 可 以 作为 用 户 做 出 计算 机 
系统 选 型 决策 的 重要 依据 之 一 。 面 向 实际 应 用 的 基准 测试 可 以 分 为 3 大 类 : 数据 库 基 准 测 
试 、 企 业 应 用 基准 测试 和 高 性 能 技术 计算 基准 测试 。 

(1) 数据 库 基 准 测试 

在 数据 库 应 用 方面 ，Oracle、Informix、Sybase 和 IBM DB2 等 公司 的 基准 测试 指标 ， 
可 以 作为 考查 计算 机 系统 支持 数据 库 应 用 性 能 的 指标 。 例 如 ， 在 Oracle 应 用 基准 测试 中 ， 
使 用 128GB 内 存 的 AlphaServer GS320 作为 数据 库 服务 器 和 20 台 ES40 作为 应 用 服务 器 ， 
创造 了 支持 11 200 个 用 户 同时 工作 的 记录 ， 使 这 一 记录 提高 了 10 倍 以 上 。 

(2) 企业 应 用 基准 测试 

在 企业 应 用 方面 ，SAP、SAS、PeopleSoft、Baan 等 公司 的 基准 测试 指标 ， 可 以 作为 考 
查 计算 机 系统 支持 企业 应 用 性 能 的 指标 。 

(3) 高 性 能 技术 计算 基准 测试 

在 高 性 能 技术 计算 方面 ， 计 算 机 系统 运行 Amber、CHAREMm、Fluent、LS-DYNA、 
MARC、ANSYS 等 ， 著 名 高 性 能 技术 计算 应 用 的 基准 测试 指标 ， 可 以 作为 考查 计算 机 系统 
支持 高 性 能 技术 计算 应 用 性 能 的 指标 。 


4.5 其 他 测试 


软件 产品 测试 除 上 述 几 种 类 别 外 ， 还 有 很 多 ， 并 且 随 着 计算 机 应 用 的 普及 ， 对 软件 产 
品级 的 测试 还 会 有 新 的 更 多 需求 ， 但 是 测试 方法 、 测 试 过 程 和 测试 组 织 等 方面 基本 相同 ， 
仅 在 测试 内 容 和 测试 目的 方面 不 同 
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4.5.1 配置 测试 


软件 产品 的 配置 测试 是 要 检查 计算 机 系统 内 各 个 设备 或 各 种 资源 之 间 的 相互 联结 和 功 
分 配 中 的 错误 。 主 要 包括 以 下 几 种 : 

(1) 配置 命令 测试 

验证 软件 产品 全 部 配置 命令 的 可 操作 性 ， 特 别 是 要 对 最 大 配置 和 最 小 配置 进行 测试 。 
配置 参数 有 软件 运行 参数 和 设备 加 载 参数 等 。 如 : 设备 特性 、 网 络 属性 、 内 存 大 小 、 操 作 
系统 参数 、 系 统 表格 的 大 小 、 并 发 进程 的 多 少 等 。 

(2) 修复 测试 

检查 通过 配置 命令 与 参数 使 软件 运行 环境 进行 重组 ， 屏 蔽 异常 情况 或 卸载 故障 设备 ， 
恢复 软件 正常 运行 的 能 力 。 即 检查 每 种 配置 状态 及 哪个 设备 是 故障 的 ， 并 用 自动 的 或 手动 
的 方式 控制 配置 状态 之 间 的 转换 。 


4.5.2 ”兼容 性 测试 


这 类 测试 是 验证 软件 产品 在 不 同 版 本 之 间 的 兼容 性 。 有 两 类 基本 的 兼容 性 测试 ; 

(1) 向 下 兼容 测试 是 测试 软件 新 版 本 保留 它 早期 版 本 的 功能 的 情况 。 例 如 ，Office 
2000 可 以 修改 、 编 辑 Office 97 产生 的 文件 ， 就 是 Office 2000 兼容 Office 97。 

(2) 交叉 兼容 测试 是 验证 共同 存在 的 两 个 相关 但 不 同 的 软件 产品 之 间 的 兼容 性 。 例 
如 , KODAK 数码 相机 软件 标识 的 计算 机 系统 软件 要 求 是 : Windows 系统 的 98、98SE、2000 
或 XP 版 本 ，MACINTOSH 系统 的 8.6、9.0x、9.1 版 本 。 也 就 是 说 KODAK 数码 相机 软件 
与 Windows 系统 和 MACINTOSH 系统 指明 的 版 本 是 兼容 的 ， 而 与 Windows 95 系统 是 不 兼 
容 的 ， 即 在 Windows 95 系统 上 不 能 安装 和 使 用 KODAK 数码 相机 软件 。 


4.5.3” 易 用 性 测试 


易 用 性 测试 主要 从 软件 能 被 理解 、 学 习 、 操 作 、 有 吸引 力 ， 以 及 依从 与 易 用 性 相关 的 
法 规 和 指南 等 角度 对 软件 产品 进行 检查 ， 发 现 人 为 因素 或 使 用 上 的 问题 。 

(1) 易 理解 性 

用 户 宜 选择 一 个 适合 他 们 使 用 要 求 的 软件 产品 。 外 部 易 理 解 性 度量 能 够 评估 新 的 用 户 
能 和 否 理解 下 列 内 容 ; 
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口 ”软件 是 否 合适 ; 

口 ”怎样 用 它 去 完成 特殊 任务 。 

(2) 易学 性 

外 部 易学 性 度量 能 够 评估 用 户 要 用 多 长 时 间 才 能 学 会 如 何 使 用 某 一 特殊 的 功能 , 及 评 
估 它 的 帮助 系统 和 文档 的 有 效 性 。 

易学 性 与 易 理解 性 有 很 密切 的 关系 ， 易 理解 性 的 测量 可 作为 软件 易学 性 的 潜在 指标 。 

(3) 易 操 作 性 

外 部 易 操 作 性 度量 能 评估 用 户 能 否 操作 和 控制 软件 。 易 操作 性 度量 可 分 为 以 下 几 类 : 

@ 软件 对 任务 的 适合 性 ; 

@ 软件 的 自我 描述 性 ; 

@ 软件 的 可 控制 性 ; 

@ 软件 对 用 户 期 望 的 符合 性 ; 

@ 软件 的 容错 性 ; 

@ 软件 对 各 种 特例 的 适合 性 。 

对 测试 功能 的 选择 受 使 用 这 一 功能 的 预期 频率 、 功 能 的 关键 性 以 及 任何 涉及 的 使 用 问 
题 的 影响 。 

(4) 吸引 性 

外 部 吸引 性 度量 能 评估 软件 的 外 观 ， 并 受 屏幕 设计 、 颜 色 等 因素 的 影响 。 这 一 点 对 于 
消费 者 选择 软件 产品 特别 重要 。 

(5) 易 用 的 依从 性 

外 部 易 用 性 依从 度量 能 评估 与 易 用 性 相关 的 标准 、 约 定 、 风 格 指南 或 法 规 的 符合 性 。 


4.5.4 强度 测试 


强度 测试 则 是 对 那些 非 正常 情况 下 ， 系 统 可 以 运行 到 何 种 程度 的 测试 。 因 此 ， 强 度 测 
试 总 是 以 超过 正常 的 运行 频率 、IO 吞吐 量 、 资 源 容 量 等 方式 运行 系统 。 例 如 : 

(1) 当 一 个 实时 软件 正常 运行 周期 为 1 秒 时 ， 设 计 运 行 周 期 为 0.1 秒 的 测试 用 例 进行 
测试 ; 


(2) 当 一 个 网 络 软 件 正常 运行 的 节点 数 为 1 024 时 ， 设 计 2 048 个 节点 的 测试 用 例 进 
行 测试 ; 
(3) 当 一 个 实时 监控 软件 采样 频率 为 10Hz 时 ， 设 计 采 样 频率 为 20Hz 的 测试 用 例 进 
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行 测试 ; 

(4) 当 一 个 软件 支持 10 个 用 户 并 发 操作 时 ， 设 计 有 50 个 并 发 用 户 的 测试 用 例 进行 
测试 ; 

(5) 当 一 个 虚 存 管理 软件 在 256MB 物理 内 存 运 行 时 ， 设 计 需 要 4 096MB 空间 的 测试 
用 例 进行 测试 ; 

(6) 当 一 个 软件 使 用 磁盘 存储 数据 时 ， 可 设计 超出 正常 应 用 10 倍 《〈 主 要 指 频 度 ) 的 
测试 用 例 进行 测试 。 

总 之 ， 强 度 测 试 的 目的 是 要 检查 软件 产品 在 达到 运行 极限 或 超过 运行 极限 时 ， 软 件 所 
处 的 状态 。 理 想 的 软件 产品 应 能 够 通过 人 机 界面 警告 使 用 者 ， 并 保证 软件 本 身 不 受 破坏 。 
实际 情况 是 有 的 软件 产品 在 进行 强度 测试 时 ， 会 出 现 死机 《〈 不 响应 )、 崩 溃 《〈 重 启动 ) 等 
现象 。 


4.6 测试 的 可 重 现 性 


软件 产品 测试 的 可 重 现 性 是 测试 工作 的 一 项 重要 技术 指标 。 要 想 提高 测试 效率 ， 有 效 
报告 软件 缺陷 ， 就 需要 以 明显 、 通 用 和 再 现 的 形式 描述 测试 用 例 及 测试 记录 日 志 。 软 件 缺 
陷 的 分 离 和 再 现 ， 与 软件 修复 后 的 回归 测试 是 测试 可 重 现 性 要 求 的 主要 目的 。 在 多 数 情 况 
下 ， 软 件 测试 的 可 重 现 性 很 容易 实现 。 但 是 ， 有 些 软件 缺陷 仅 在 执行 一 些 其 他 测试 用 例 之 
后 出 现 ， 而 在 启动 机 器 之 后 直接 执行 专门 的 错误 测试 用 例 时 不 出 现 ， 这 就 需要 分 离 和 再 现 
软件 缺陷 。 


4.6.1 测试 用 例 的 重用 


测试 的 可 重 现 性 归根 到 底 是 测试 用 例 的 可 重用 性 问题 , 可 重用 的 关键 是 测试 的 稳定 性 。 
测试 的 稳定 性 是 指 : 不 同时 间 、 不 同 的 测试 人 员 所 执行 测试 的 结果 是 相同 的 。 如 何 保证 测 
试用 例 的 重用 提出 如 下 建议 : 

(1) 测试 用 例 设计 要 尽 可 能 功能 单一 ， 用 途 明确 ; 

(2) 测试 用 例 的 描述 要 人 全面、 准确 ， 使 执行 测试 时 不 会 出 现 歧义 ; 

(3) 详细 记录 测试 执行 中 的 每 一 件 事 ， 即 每 一 个 步 又、 每 一 次 停顿 、 每 一 件 工作 等 ; 
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(4) 准确 记录 实际 测试 结果 ， 包 括 测试 执行 的 中 间 结 果 和 最 终结 果 ; 
(5) 测试 归档 ， 将 全 部 的 测试 文档 、 测 试 数据 、 测 试 结果 整理 并 存档 。 


4.6.2 分离 和 再 现 软 件 缺 陷 


测试 用 例 的 重用 性 解决 之 后 ， 从 理论 上 讲 由 于 不 存在 随机 的 软件 缺陷 ， 所 以 测试 都 可 
以 重 现 。 但 是 在 测试 工作 中 普遍 存在 测试 不 可 重 现 的 情况 ， 究 其 原因 是 对 测试 用 例 没有 建 
立 绝 对 相同 输入 的 绝对 相同 条 件 ， 由 测试 输入 的 不 确定 性 ， 产 生 测试 结果 的 随机 性 。 对 于 
“随机 ”出 现 的 软件 缺陷 ， 需 采用 分 离 的 方法 ， 寻 找 确切 的 测试 输入 条 件 ， 青 现 软 件 缺 陷 。 
分 离 软件 缺陷 的 方法 是 测试 技巧 与 测试 经 验 的 综合 ， 对 测试 人 员 自 身 的 技术 水 平 依赖 性 很 
强 , 因此 要 想 成 为 卓有成效 的 软件 测试 员 ， 就 必须 抓 住 每 一 个 机 会 去 分 离 和 再 现 软 件 缺 陷 。 
为 了 帮助 分 离 软件 缺陷 ， 提 出 如 下 建议 : 

(1) 不 要 想当然 地 接受 任何 假设 。 从 另 一 个 角度 分 析 导 致 软件 缺陷 所 需 的 全 部 细节 ， 
即 测试 用 例 、 测 试 记录 和 导致 软件 缺陷 的 现场 信息 。 

(2) 查找 时 间 依 赖 和 竞争 条 件 的 问题 。 软 件 缺陷 仅 在 特定 时 刻 出 现 吗 ? 也 许 它 取决 于 
输入 数据 的 速度 ， 或 者 使 用 慢 速 软盘 还 是 快速 硬盘 保存 数据 。 看 到 软件 缺陷 时 网 络 忙 吗 ? 
在 较 慢 和 较 快 的 硬件 上 尝试 测试 用 例 ， 并 要 考虑 时 序 。 

(3) 与 强度 和 负荷 相关 的 边界 条 件 软件 缺陷 、 内 存 泄漏 和 数据 溢出 等 问题 ， 也 许 慢 慢 
自己 会 暴露 出 来 。 如 执行 某 个 测试 可 能 导致 数据 窗 盖 ， 但 是 只 有 在 试图 使 用 该 数据 时 才 会 
发 现 〈 即 在 后 面 的 测试 中 出 现 软件 缺陷 )。 重 新 启动 计算 机 后 消失 ， 而 仅 在 执行 其 他 测试 之 
后 出 现 的 软件 缺陷 属于 这 一 类 。 如 果 发 生 这 种 现象 ， 就 要 查看 前 面 执行 的 测试 ， 也 许 要 利 
用 一 些 动态 白 盒子 技术 ， 看 软件 缺陷 是 否 在 执行 该 测试 之 前 已 经 发 生 了 。 

(4) 状态 缺陷 仅 在 特定 软件 状态 中 显露 出 来 。 状 态 缺 陷 的 例子 是 : 软件 缺陷 仅 在 软件 
第 一 次 运行 或 者 在 此 之 后 出 现 ; 软件 缺陷 也 许 仅 在 保存 数据 之 后 , 或 者 按 任意 键 之 前 发 生 。 
状态 缺陷 看 起 来 很 像 依赖 时 间 和 竞争 条 件 的 问题 , 但 是 经 过 进一步 分 析 发 现时 间 并 不 重要 ， 
重要 的 是 事件 发 生 的 次 序 ， 而 不 是 发 生 的 时 间 。 

(5) 考虑 资源 依赖 性 和 内 存 、 网 络 、 硬 件 共享 的 相互 作用 。 软 件 缺 陷 是 否 仅 在 运行 其 
他 软件 并 与 其 他 硬件 通信 的 “繁忙 ”系统 上 出 现 ? 软件 缺陷 可 能 最 终 证 实 是 竞争 条 件 、 内 
存 泄漏 或 者 状态 缺陷 ， 但 是 问题 被 软件 的 依赖 性 或 者 对 资源 的 相互 作用 进一步 恶化 ， 审 查 
这 些 影响 有 利于 分 离 软件 缺陷 。 
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(6) 不 要 忽视 硬件 。 与 软件 不 同 ， 硬 件 可 能 降级 ， 不 按 预定 方式 工作 。 如 板 卡 松动 、 
内 存 条 损坏 或 者 CPU 过 热 都 可 能 导致 像 是 软件 缺陷 的 失败 ， 而 实际 上 不 是 。 设 法 在 不 同 硬 
件 上 再 现 软件 缺陷 。 这 在 执行 配置 或 者 兼容 性 测试 时 特别 重要 。 应 该 知道 软件 缺陷 是 在 一 
个 系统 上 还 是 在 多 个 系统 上 出 现 。 


4.6.3 实例 


本 小 节 给 出 一 个 分 离 和 再 现 “ 随 机 ”软件 缺陷 的 例子 。 按 背景 、 现 象 、 分 离 、 再 现 和 
结论 几 方面 介绍 : 

(1) 背景 描述 

某 实 时 控制 系统 在 150 小 时 的 稳定 性 测试 中 ， 出 现 系统 骨 溃 的 严重 软件 缺陷 。 

(2) 软件 缺陷 的 现象 

系统 崩溃 先后 出 现 3 次 ， 其 中 出 现 的 时 机 是 启动 稳定 性 测试 后 32 小 时 、65 小 时 、96 
小 时 ， 每 次 报告 的 错误 性 质 信 息 相 同 。 系 统 崩 溃 时 中 断 的 应 用 进程 不 同 。3 次 测试 启动 前 
的 条 件 没有 大 的 差别 ， 仅 在 软件 运行 中 增加 一 些 观察 点 ， 以 便 掌握 系统 运行 的 内 部 状态 。 

(3) 分 离 软件 缺陷 

3 次 软件 缺陷 的 暴露 ， 已 消耗 了 大 量 的 人 力 、 时 间 和 物力 ， 同 时 也 获得 了 大 量 的 信息 
资料 。 经 过 认真 分 析 测试 用 例 、 过 程 记 录 、 骨 溃 现 场 的 全 部 信息 ， 有 以 下 几 点 是 肯定 的 

口 错误 性 质 是 系统 发 现 核心 态 不 调 页 池 致 命 性 故障 ，3 次 报告 相同 

口 错误 需要 系统 运行 相当 长 时 间 之 后 (最 短 是 32 小 时 ) 才 会 出 现 

口 错误 与 时 间 没 有 直接 关系 ,但 与 时 序 有 关 〔 即 测试 用 例 内 容 的 微小 变化 ， 也 能 影 

响 系 统 骨 省 的 时 机 ); 

口 “ 系 统 崩 溃 现 场 信 息 中 有 多 处 时 钟 队 列 元 素 的 地 址 指针 ， 说 明 当 时 时 钟 处 理 繁忙 ; 

口 ”错误 是 引起 系统 崩溃 ， 不 是 应 用 程序 退出 ， 缺 陷 应 在 系统 程序 中 。 

(4) 再 现 软件 缺陷 

通过 以 上 分 析 ， 引 起 系统 崩溃 的 软件 缺陷 可 能 存在 于 系统 的 时 钟 管理 程序 中 ， 为 此 采 
用 强度 测试 的 方式 设计 测试 用 例 ， 使 激发 时 钟 管理 程序 运行 的 条 件 增加 50 倍 ， 结 果 启 动 测 
试 不 到 半 个 小 时 ， 就 发 生 了 系统 崩溃 ， 并 且 错 误 性 质 报告 与 前 3 次 相同 ， 后 又 启动 几 次 结 
果 一 致 。 

(5) 结论 


94 软件 测试 实用 指南 


系统 的 时 钟 管理 程序 中 存在 软件 缺陷 ， 但 是 时 钟 管理 是 系统 运行 的 心脏 ， 不 但 程序 复 
杂 ， 而 且 涉及 面 极 广 ， 采 用 白 盒子 测试 方法 将 软件 缺陷 的 位 置 进行 定位 。 

软件 缺陷 的 性 质 是 : 核心 态 内 存 泄漏 。 

引起 系统 崩溃 的 机 理 是 : 在 实时 调度 时 钟 管理 模式 〈 系 统 中 有 多 种 模式 ) 中 ， 当 时 钟 
队列 中 有 两 个 以 上 时 钟 队列 元 素 排队 时 ， 实 时 调度 时 钟 管理 程序 将 队列 上 所 有 元 素 处 理 完 
后 ， 仅 释放 一 个 时 钟 队列 元 素 ， 并 归还 核心 态 不 调 页 池 。 这 样 就 造成 了 一 个 时 钟 队 列 元 素 
排队 时 没 问题 ， 两 个 时 钟 元 素 排队 时 就 有 一 个 时 钟 队列 元 素 的 内 存 没 有 归还 ， 而 且 排队 的 
元 素 个 数 越 多 泄漏 的 内 存 越 多 。 由 于 时 钟 队列 元 素 仅 有 8 个 字 节 ， 所 以 耗 尽 系统 核心 态 不 
调 页 池 的 内 存 资源 需要 相当 长 的 时 间 。 一 旦 系统 核心 态 不 调 页 池 的 内 存 资源 耗 尽 ， 就 必然 
引起 系统 衣 溃 ， 这 是 系统 异常 处 理 策略 所 决定 的 。 
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现在 的 信息 系统 应 用 愈 来 愈 广 、 傅 来 愈 深入 、 愈 来 愈 重要 ， 成 为 社会 生活 须 史 不 可 高 
开 的 东西 。 而 在 信息 系统 中 ， 软 件 的 比重 愈 来 愈 大 、 愈 来 愈 复杂 ， 地 位 也 愈 来 愈 关键 。 软 
件 的 可 靠 性 是 整个 信息 系统 可 靠 性 的 重要 因素 ， 甚 至 是 决定 因素 。 软 件 的 可 靠 性 是 由 软件 
系统 中 潜在 故障 的 情况 决定 的 。 软 件 故障 在 复杂 的 电子 商务 /电子 政务 、 金 融 业务 管理 、 指 
挥 、 控 制 系统 的 运行 过 程 中 ， 在 一 定 的 输入 信息 和 运行 环境 下 ， 潜 在 的 错误 有 时 会 显露 出 
来 ， 对 系统 的 运行 造成 严重 影响 。 例 如 阿波 罗 登 月 的 一 次 失败 ，1962 年 水 手 一 号 探测 器 的 
飞行 失败 ，1988 年 苏联 一 次 载 人 飞行 不 能 顺利 返回 地 面 ，1996 年 欧洲 阿 丽 亚 娜 火箭 的 发 射 
失败 等 ， 都 是 由 于 系统 的 软件 故障 造成 的 。 

尤其 要 注意 的 是 软件 往往 是 系统 可 靠 性 的 薄弱 环节 ， 因 此 软件 系统 的 可 靠 性 需要 引起 
有 关 人 员 的 格外 重视 。 例 如 : 20 世纪 70 年 代 美 国 军 用 计算 机 硬件 的 平均 故障 间隔 时 间 为 
2 000 小 时 ， 而 相应 的 软件 系统 仅 有 448 小 时 ; 1986 年 IBM 公司 3080 系统 的 CPU 平均 故 
障 间隔 时 间 为 80 000 小 时 ， 而 当时 与 之 配套 的 新 开发 的 软件 系统 仅 有 160~200 小 时 。 有 的 
学 者 指出 :“ 软 件 系统 的 状态 数 要 比 计算 机 硬件 非 重复 部 分 的 状态 数 大 许多 个 数量 级 。 这 一 
差别 是 软件 系统 相对 不 可 靠 的 一 个 重要 原因 。” 因 此 ,“ 当 代 许 多 系统 中 ， 软 件 不 可 靠 是 系 
统 失败 的 主要 原因 ”。 

为 了 解决 软件 系统 的 可 靠 性 问题 ， 软 件 的 可 靠 性 测试 就 显得 非常 重要 了 。 


5.1 软件 系统 的 可 靠 性 


与 软件 系统 可 靠 性 有 关 的 几 个 概念 是 : 可 靠 性 reliability)、 可 用 性 (availability)、 易 
用 性 (usability )。 
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5.1.1 ”可靠 性 


软件 的 可 靠 性 是 指 : 在 规定 的 条 件 下 和 规定 的 时 间 间 隔 内 ， 软 件 系统 能 正确 运行 的 概 
率 。“ 规 定 的 条 件 ” 包 括 环境 、 使 用 、 维 护 和 维修 等 条 件 和 操作 技术 ;“ 规 定 的 时 间 ” 是 指 
软件 系统 的 可 靠 性 是 相对 一 定 的 时 间 间 隔 而 言 的 ， 人 们 和 常常 要 求 软件 系统 能 在 规定 的 时 间 
内 具有 一 定 的 可 靠 性 ;“ 正 确 运 行 ”是 指 系统 具有 规定 的 各 项 技术 性 能 ， 完 成 规定 的 任务 ， 
运行 的 程序 不 被 破坏 或 停止 ， 程 序 按 规 定 的 要 求 运行 ， 运 行 的 结果 正确 ， 执 行 时 间 在 规定 
的 限度 范围 之 内 。 

软件 系统 的 可 靠 性 像 计算 机 系统 的 可 靠 性 一 样 ， 通 常用 平均 故障 时 间 (MTBF)， 即 系 
统 能 正确 运行 时 间 的 平均 值 来 表征 。 像 前 文 所 举例 中 , 两 个 软件 系统 的 MTBF=448/160~200 
小 时 。 

软件 系统 的 可 靠 性 ， 主 要 与 以 下 因素 有 关 : 该 软件 系统 有 潜在 的 错误 或 缺陷 ， 这 可 能 
是 影响 系统 可 靠 的 主要 原因 ; 其 次 是 系统 输入 信息 的 影响 ; 再 次 就 是 系统 应 用 方法 的 影响 。 


5.1.2 可 用 性 


系统 可 用 性 指 该 系统 在 某 一 时 刻 能 提供 有 效 使 用 的 程度 ， 以 可 用 度 A 表示 。 可 用 度 是 
在 任何 指定 时 刻 系统 能 正确 运行 的 概率 。 
系统 的 可 用 度 A 可 用 以 下 公式 计算 : 
MTTF 
”MTTR + MTTF 
式 中 : MTTF 一 一 平均 无 故障 时 间 ; 
MTTR 一 一 平均 修复 时 间 。 
平均 无 故障 时 间 是 反映 在 相当 长 的 时 间 内 ， 从 系统 正常 启动 或 一 次 故障 恢复 后 重新 运 
行 开始 ， 到 下 次 失效 的 平均 时 间 。 
平均 修复 时 间 是 反映 在 多 次 故障 中 ， 从 系统 失效 开始 ， 到 修复 故障 使 系统 重新 正确 运 
行 所 用 的 平均 时 间 。 故 障 修复 时 间 是 以 下 4 个 时 间 的 总 和 : 
口 ”申请 维修 时 间 ; 
口 ” 等 待 时 间 ; 
口 ”探查 时 间 ; 
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口 ”恢复 时 间 。 

系统 的 可 用 性 与 可 靠 性 不 同 ， 在 某 时 刻 前 ， 系 统 可 能 出 现 过 多 次 故障 ， 但 只 要 将 故障 
恢复 ， 该 系统 仍 是 可 用 的 。 但 对 可 靠 性 来 说 ， 在 某 时 刻 之 前 ， 该 系统 没有 出 现 过 任何 故障 ， 
该 系统 才 被 认为 是 可 靠 的 。 


5.1.3 易 用 性 


易 用 性 是 交互 式 IT 产品 〈 计 算 机 软件 系统 、 网 站 、 信 息 家 电 、 智 能 仪器 仪表 等 ) 的 重 
要 性 能 指标 之 一 ， 在 近 几 年 得 到 了 充分 的 肯定 和 发 展 。 

易 用 性 专 指 信息 产品 在 有 效 、 易 学 、 好 记 、 少 错 和 令 用 户 满意 的 程度 等 方面 的 特征 。 
反映 了 产品 以 人 为 中 心 的 思想 ， 是 用 户 实际 看 到 、 感 受到 的 产品 质量 。 易 用 性 好 的 产品 市 
场 竞争 力 强 。 

在 欧盟 各 国 已 普遍 建立 易 用 性 研究 中 心 , 并 且 提 到 了 易 用 性 工程 (usability engineering) 
的 高 度 。 这 就 说 明 ， 在 易 用 性 工程 方面 已 有 理论 基础 、 整 套 的 实用 方法 和 工具 、 国 际 标准 
和 行业 标准 ， 与 之 相配 套 也 己 有 易 用 性 这 方面 的 测试 集 。 

易 用 性 工程 已 渗透 到 软件 工程 的 各 个 环节 ， 从 需求 分 析 开 始 到 集成 测试 为 止 ， 都 要 考 
虑 易 用 性 工程 方面 提出 的 建议 。ISO 9241 一 1999 (Ergonomic requirements for office work 
with visual display terminals)、ISO/DIS 13407 一 1999 (Human-centred design processors for 
interactive systems)、 ISO TR 18529 一 2000 (Ergonomics of human-system interaction 一 
human-centred lifecycle process descriptions ) 国际 标准 在 这 方面 做 了 明确 的 规定 。 

在 某 软 件 质量 模型 中 ， 规 定 软件 的 易 用 性 与 可 靠 性 在 同一 级 别 上 ， 即 皆 属 质量 的 6 大 
质量 特性 之 列 。 说 明 易 用 性 本 身 已 成 为 软件 质量 的 一 个 重要 方面 ， 也 是 一 个 重要 的 研究 
课题 。 


5.2 软件 系统 的 可 靠 性 测试 


5.2.1 ”可靠 性 测试 的 目的 


软件 系统 的 可 靠 性 测试 ， 是 指 在 有 代表 性 的 使 用 环境 中 ， 使 用 有 代表 性 的 测试 用 例 ， 
在 一 个 较 长 的 时 间 段 内 ， 对 该 软件 系统 进行 的 实际 运行 性 的 测试 。 
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所 谓 有 代表 性 的 使 用 环境 ， 主 要 是 指正 常 应 用 的 运行 环境 ， 如 温度 、 湿 度 、 应 用 人 员 、 
工作 状态 等 ， 有 代表 性 的 测试 用 例 ， 是 指 日 常 工作 需要 处 理 的 典型 问题 ， 当 然 应 该 有 其 特 
点 、 有 代表 性 ; 在 一 个 较 长 的 时 间 段 内 ， 是 指 可 靠 性 测试 要 求 一 个 能 说 明 问题 的 运行 周期 ， 
如 连续 一 周 ， 实际 运行 性 测试 ， 表 示 该 测试 情况 接近 或 就 是 该 系统 的 正常 工作 状况 。 
可 靠 性 测试 的 目的 ， 主 要 有 以 下 几 条 : 
口 ”验证 软件 系统 的 正常 运行 状况 。 在 这 种 运行 状态 下 ， 有 无 错误 发 生 ， 有 无 故障 出 
现 ? 说 明 该 系统 有 无 突出 的 薄弱 环节 。 根 据 该 实测 的 运行 状况 ， 给 出 该 系统 可 靠 
性 的 数字 特征 ， 或 量化 指标 。 

口 ”发 现 对 软件 可 靠 性 影响 最 大 的 错误 或 缺陷 。 如 果 由 于 输入 信息 情况 的 变化 ， 影 响 
了 系统 的 正常 运行 ， 这 就 说 明 系 统 比 较 脆弱 ， 容 易 受 外 界 因素 影响 ， 系 统 内 部 处 
理 有 缺陷 ， 导 致 系统 的 坚固 性 不 好 。 

口 ”对 软件 系统 的 需求 说 明 ， 提 供 实际 性 的 检查 和 验证 。 进 一 步 为 该 软件 系统 的 可 靠 
性 估计 提供 可 靠 的 数字 依据 。 


5.2.2 可靠 性 测试 的 特点 


软件 系统 的 可 靠 性 测试 ， 是 软件 系统 可 靠 性 质量 保证 过 程 中 非常 关键 的 一 步 ， 根 据 国 
外 有 关 资 料 统计 及 我 们 自己 的 工作 实践 证 明 , 可 靠 性 测试 对 提高 软件 的 可 靠 性 有 重大 作用 ， 
其 他 测试 不 能 代替 ， 反之， 对 软件 系统 的 可 靠 性 方面 ， 比 其 他 测试 方法 更 经 济 、 有 效 。 

可 靠 性 测试 既然 如 此 重要 ， 那 么 可 靠 性 测试 的 特点 是 什么 ? 

(1) 可 靠 性 测试 一 定 要求 一 段 时 间 的 连续 运行 。 所 谓 一 段 时 间 ， 就 是 一 定 要 求 足够 的 
测试 时 间 长 度 。 例 如 : 我 国 自行 研制 的 超级 计算 机 “银河 ”一 工 “ 银 河 ” 一 工 ,“ 银 河 ” 
一 贡 及 其 软件 系统 ， 可 靠 性 测试 都 花 了 一 周 〈7 天 ) 的 时 间 ; 所 谓 连 续 运 行 ， 就 是 要 求 测 
试 时 间 不 能 间断 ， 如 测试 过 程 中 遇 到 问题 时 ， 一 定 要 马上 处 理 ， 处 理 完 后 立刻 投入 运行 。 

(2) 测试 用 例 的 选择 一 定 要 有 代表 性 。 测 试用 例 的 选择 ， 一 方面 各 具 特 点 ， 另 一 方面 
要 考虑 这 些 测 试用 例 复合 运行 ， 既 有 覆盖面 ， 又 有 突出 的 特点 ， 有 特殊 的 针对 性 。 有 时 ， 
测试 用 例 就 往往 选择 用 户 实际 解决 问题 的 典型 程序 。 

(3) 测试 数据 更 强调 输入 数据 与 典型 使 用 环境 输入 统计 特性 的 一 致 性 。 例如: 输入 变 
量 的 概率 分 布 和 覆盖 ， 输 入 变量 组 合 的 覆盖 、 空 间 的 覆盖 等 。 

(4) 准确 的 记录 和 现场 的 保存 及 分 析 结 果 。 在 长 时 间 运 行 中 ， 要 准确 、 准 时 记录 系统 
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运行 状况 。 遇 到 问题 要 很 好 地 记录 和 保存 现场 ， 以 利于 对 故障 进行 分 析 。 这 其 中 的 工作 ， 
一 定 要 强调 真实 、 客 观 、 人 公正。 排除 个 别人 的 可 能 出 现 的 某 种 倾向 性 。 


5.2.3 ”进行 可 靠 性 测试 的 基本 条 件 


对 软件 系统 进行 可 靠 性 测试 ， 必 须 具 有 一 些 基本 条 件 。 因 为 测试 的 基本 条 件 不 同 ， 可 
能 导致 测试 结果 的 不 同 。 因 此 ， 测 试 的 基本 条 件 一 定 要 求 是 标准 的 、 科 学 的 ， 且 具有 代表 
性 的 。 这 些 基 本 条 件 可 以 概括 为 以 下 几 条 : 

(1) 确定 软件 系统 的 测试 环境 。 测 试 环境 包括 : 运行 的 外 部 环境 ， 如 供电 、 气 温 、 气 
压 及 各 种 干扰 等 ， 硬 件 环境 ， 如 运行 该 软件 的 硬件 环境 条 件 ，CPU、 内 存 容量 、 人 磁盘 容量 
与 存 取 速 度 、 总 线 、 配 备 的 其 他 外 部 设备 、 网 络 环 境 等 ， 软 件 配 置 情 况 ， 如 操作 系统 类 型 、 
版 本 、 数 据 库 管理 系统 的 类 型 、 版 本 等 ， 网 络 软件 的 配置 ，Windows 界面 配置 、 浏 览 器 的 
型 号 等 ， 其 他 的 支持 软件 与 应 用 软件 等 。 

(2) 选择 测试 工具 或 测试 题目 。 根 据 系统 的 需求 说 明 ， 识 别 被 测 软件 系统 在 功能 上 、 
性 能 上 最 突出 的 特点 ， 实 事 求 是 地 选择 测试 工具 或 测试 题目 。 这 些 测试 工具 或 测试 题目 的 
运行 ， 能 够 发 现 被 测 系统 在 可 靠 性 方面 存在 的 不 足 ， 也 能 令 人 信服 地 表现 出 该 被 测 系统 在 
可 靠 性 方面 的 特点 。 

严格 的 可 靠 性 测试 ， 对 被 测 系 统 而 言 ， 既 是 一 种 考验 ， 也 是 一 种 无 言 的 宣传 。 经 过 严 
格 性 测试 的 产品 ， 往 往 在 市 场 上 、 用 户 中 的 声誉 都 比较 好 。 

(3) 确定 每 一 个 输入 信息 的 概率 分 布 。 每 一 个 输入 信息 都 会 有 取 值 范围 ， 例 如 [a,b]， 
其 中 ab 是 两 个 端点 值 , 假如 ab 中 间 是 连续 的 , 在 有 限 的 测试 时 间 内 不 可 能 一 一 进行 穷 举 
测试 ， 只 能 用 概率 方法 选取 输入 参数 。 这 种 概率 分 布 通常 选取 正 态 均匀 分 布 者 居多 。 在 被 
测 系统 中 ， 一 般 不 可 能 只 有 一 个 输入 信息 ， 这 要 为 测试 过 程 中 的 每 一 个 输入 信息 选取 分 布 
函数 。 如 果 在 测试 过 程 中 ， 在 某 一 时 刻 有 多 个 输入 信息 的 话 ， 自 然 会 有 这 多 个 信息 同时 输 
入 的 概率 组 合 问 题 ， 当 然 这 对 被 测 系统 的 可 靠 性 也 是 一 种 考验 。 

为 了 使 选择 的 概率 分 布 有 代表 性 ， 能 足够 地 反映 软件 使 用 的 真实 情况 ， 准 备 测试 的 有 
关 人 员 必 须 与 系统 设计 师 、 工 程 师 、 系 统 分 析 员 、 软 件 用 户 相互 结合 、 亲 密 合作 。 

(4) 定义 失效 等 级 

所 有 软件 系统 中 存在 的 错误 ， 都 有 导致 系统 失效 的 可 能 。 但 错误 的 严重 性 各 不 相同 。 
为 了 区 别 对 待 ， 应 将 错误 进行 分 级 。 错 误 分 级 的 方法 各 不 相同 ， 但 大 同 小 异 。 我 国 的 有 关 
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标准 将 软件 错误 分 为 5 级 ， 详 见 第 1 章 1.6 节 。 

第 1、 第 2 级 是 严重 错误 ， 如 果 在 测试 过 程 中 一 旦 出 现 ， 就 应 该 立即 进行 故障 分 析 ， 
可 靠 性 测试 能 否 继续 进行 ， 值 得 研究 。 第 4、 第 5 级 可 以 在 不 影响 可 靠 性 测试 的 整个 过 程 
的 情况 下 进行 ， 但 要 仔细 记录 ， 以 便 日 后 处 理 。 第 3 级 错误 ， 在 可 靠 性 测试 过 程 中 出 现 ， 
如 何 处 理 ， 可 根据 被 测 系统 的 具体 情况 而 定 。 


5.3 ”软件 系统 可 靠 性 测试 的 实施 


软件 可 靠 性 测试 的 具体 实施 ， 一 般 可 分 为 4 个 阶段 进行 : 制定 可 靠 性 测试 方案 ， 编 写 
测试 计划 ， 进 行 测试 设计 ; 测试 执行 并 记录 测试 进行 情况 及 一 切 有 关 信 息 ; 测试 总 结 ， 分 
析 测 试 结果 并 编写 测试 报告 。 


5.3.1 制订 测试 计划 


本 阶段 的 任务 是 : 根据 “软件 需求 规格 说 明 ” 及 其 他 相关 资料 ， 识 别 软件 功能 需求 、 
性 能 需求 的 特点 及 其 本 质 ， 确 定 与 此 相对 应 的 输入 信息 的 定义 域 ， 选 择 输入 信息 的 概率 分 
布 ， 甚至 需 确定 必须 要 强化 测试 的 部 分 。 在 此 基础 上 ， 制 订 出 测试 方案 。 具 体 地 说 ， 应 编 
写 出 3 份 文件 。 

口 ”可靠 性 测试 计划 ; 

口 ”可靠 性 测试 工具 或 用 例 ; 

口 可 靠 性 测试 平台 需求 。 

为 了 完成 上 述 任务 ， 有 具体 地 说 ， 应 该 经 过 以 下 工作 步骤 。 

(1) 识别 和 分 析 软 件 功能 需求 、 性 能 需求 的 特点 、 特 殊 要 求 和 一 般 要 求 。 分 析 时 要 注 

意 下 述 问题 : 

口 ”该 软件 是 否 存在 不 同 运行 模式 ， 如 果 存 在 ， 应 列 出 所 有 的 运行 模式 ; 

口 有 无 影响 程序 运行 方式 的 外 部 条 件 ， 如 果 有 ， 共 有 多 少 ? 分 别 列 出 。 并 研究 各 自 
影响 的 程度 如 何 ， 例 如 操作 员 的 误 操作 是 否 会 对 系统 的 可 靠 性 产生 影响 ， 硬 件 及 
周围 环境 的 偶然 变化 ， 是 否 会 对 系统 可 靠 性 产生 影响 等 ; 

口 “各 种 功能 需求 之 间 是 相互 独立 ， 还 是 相关 ， 如 果 相 关 ， 是 密切 相关 还 是 非 密切 相 
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关 ， 如 果 两 种 功能 密切 相关 ， 是 否 可 将 两 种 功能 “ 合 二 而 一 ”? 如 果 两 种 功能 非 
密切 相关 ， 则 需 设 计 和 选择 测试 相应 输入 信息 的 合理 组 合 。 

(2) 确定 各 输入 信息 的 概率 分 布 。 确 定 在 不 同 运行 方式 下 〈 如 果 存 在 的 话 )， 系 统 运 
行 的 可 能 性 ， 判 别 是 否 需要 对 不 同 的 运行 方式 分 别 进行 测试 。 如 果 需 要 ， 则 应 给 出 在 各 种 
运行 方式 下 ， 各 输入 数据 域 的 概率 分 布 ， 否则 ， 要 给 出 一 种 运行 方式 下 ， 各 输入 数据 域 的 
概率 分 布 。 

与 此 同时 ， 需 要 判断 和 确定 : 对 系统 的 特点 部 分 或 有 特殊 要 求 的 部 分 ， 是 否 要 进行 强 
化 测试 。 如 有 此 情况 ， 则 在 选择 测试 用 例 和 输入 信息 时 给 予 特殊 注意 。 当 然 ， 也 应 体现 在 
测试 计划 中 。 

(3) 定义 和 选用 失效 等 级 。 判 断 被 测 系统 会 不 会 出 现 危 害 程度 较 大 的 1 级 或 2 级 故 
障 ， 如 果 存 在 这 种 可 能 性 则 应 进行 故障 树 分 析 ， 确 定 其 影响 的 范围 。 

当然 ， 故 障 级 别 的 归属 和 划分 原则 具体 归属 级 别 ， 如 果 可 能 ， 也 应 在 这 一 阶段 研究 好 ， 
免得 以 后 具体 实施 过 程 中 出 现 争 论 和 争议 。 

(4) 确定 可 靠 性 测试 的 平台 需求 。 这 其 中 包括 测试 运行 环境 ， 计 算 机 硬件 的 型 号 与 规 
模 ， 软 件 配 置 的 典型 环境 及 版 本 号 ， 需 要 说 明 的 是 : 测试 环境 要 与 “需求 说 明 ” 中 的 要 求 
一 致 ， 应 与 实际 的 用 户 实用 环境 相 协 调 。 


5.3.2 测试 设计 


测试 设计 是 软件 可 靠 性 测试 的 第 2 阶段 。 它 工作 的 依据 是 第 一 阶段 工作 成 果 ， 即 制订 
测试 方案 阶段 产生 的 3 个 文件 : 

可 靠 性 测试 计划 ; 

可 靠 性 测试 工具 或 用 例 ; 

可 靠 性 测试 平台 需求 。 

测试 准备 阶段 工作 的 目标 是 : 

口 准备 好 可 靠 性 测试 所 用 的 计算 机 系统 平台 ; 

口 ”测试 工具 或 测试 用 例 的 试 运行 , 准备 好 测试 输入 数据 生成 方案 和 相应 的 输入 文件 ; 

口 ”核实 和 确认 预期 的 输出 结果 。 

(1) 可 靠 性 测试 平台 的 准备 ， 应 该 包括 测试 环境 、 测 试 软件 的 生成 及 其 运行 的 软 硬 件 
环境 和 配置 等 。 这 里 应 该 强调 的 是 : 测试 平台 的 配置 一 定 要 符合 测试 计划 和 “软件 需求 规 
格 说 明 ” 的 要 求 ， 另 一 方面 就 是 参与 测试 的 工作 人 员 和 值班 操作 人 员 的 训练 和 准备 。 在 测 
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试 中 ， 一 定 要求 有 关 人 员 认真 对 待 ， 一 丝 不 苟 。 

(2) 测试 工具 和 测试 用 例 的 试 运行 。 要 根据 前 阶段 决定 采用 的 输入 信息 概率 分 布 ， 生 
成 与 之 相对 应 的 测试 用 例 输入 文件 。 这 里 要 特别 注意 的 是 

口 一 定 确保 测试 用 例 输入 文件 的 正确 性 ; 

口 一 定 要 保证 输入 信息 的 窗 盖 率 ; 

口 一 定 要 保证 输入 信息 是 可 重复 的 。 

在 这 一 阶段 ， 有 可 能 需要 大 量 的 输入 信息 ， 还 可 能 要 有 复合 的 不 同 概率 分 布 的 输入 信 
息 ， 因 此 可 能 比较 复杂 。 为 此 ， 建 议 研制 相应 的 软件 信息 生成 支持 工具 ， 或 者 建立 相应 的 
数据 库 ， 以 支持 测试 进行 中 输入 信息 的 需要 。 

(3) 确认 测试 工具 或 测试 用 例 的 预期 的 输出 结果 。 这 些 在 不 同 阶段 、 不 同 用 例 的 输出 
结果 ， 可 能 是 在 可 靠 性 测试 过 程 中 用 来 判断 输出 结果 正确 依据 之 一 ， 或 是 最 重要 的 依据 。 
所 以 必须 是 正确 无 误 的 。 

测试 准备 工作 ， 一 定 要 周到 、 细 致 、 准 确 。 这 一 阶段 工作 的 重要 性 在 于 它 的 工作 结果 
直接 关系 到 软件 可 靠 性 测试 工作 的 成 败 。 


5.3.3 测试 执行 


测试 执行 ， 是 软件 可 靠 性 测试 的 第 3 阶段 。 它 的 工作 基础 是 : 
被 测试 的 软件 或 软件 系统 ; 

可 靠 性 测试 计划 ; 

可 靠 性 测试 工具 或 测试 用 例 ; 

可 靠 性 测试 平台 ; 

测试 用 例 用 的 测试 输入 文件 ; 

口 ”预期 的 输出 结果 。 

这 一 阶段 工作 的 任务 是 : 对 被 测 软件 进行 可 靠 性 测试 。 承 担 该 任务 的 人 员 ， 可 能 是 专 
门 成 立 的 测试 组 织 ， 也 可 能 是 第 三 方 专门 测试 机 构 。 一 般 不 是 研制 单位 自己 内 部 进行 ， 而 
研制 单位 自身 只 是 起 配合 作用 。 

这 一 阶段 ， 要 产生 的 文档 有 : 

口 “可 靠 性 测试 过 程 记录 ; 

口 ”测试 过 程 中 输出 的 一 切 信息 ， 特 别 是 重要 的 测试 中 间 结 果 和 最 后 结果 ; 


[| 


加 
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错误 报告 (如 果 测 试 过 程 中 发 生 错 误 或 故障 )。 


上 述 文档 ， 当 事 人 一 定 要 签字 ， 以 示 认 真 负责 。 

(1) 测试 的 启动 

软件 系统 的 可 靠 性 测试 ， 不 论 对 谁 而 言 ， 都 是 一 件 比较 慎重 、 严 肃 的 大 事 。 在 可 靠 性 
测试 开始 之 际 ， 测 试 小 组 全 体 成 员 一 定 到 场 ， 首 先 做 好 下 列 检验 工作 : 


口 


OOODODO DO 


测试 环境 、 测 试 平台 、 测 试 软 硬 件 配置 的 检查 与 认可 ; 
测试 有 关 文 档 的 检查 与 接收 ; 

被 测 软件 的 检查 、 编 译 与 装 入 ; 

测试 工具 或 测试 用 例 的 的 检查 、 编 译 与 装载 ; 

有 关 标 志 性 文件 的 检查 与 签字 确认 ; 

启动 时 间 的 记录 与 确认 。 


此 后 ， 测 试 组 负责 人 员 宣 布 可 靠 性 测试 开始 ， 并 令 有 关 操 作 人 员 启 动 被 测 软件 系统 与 
测试 工具 或 测试 用 例 的 运行 。 此 后 ， 测 试 组 的 值班 人 员 ， 要 严格 观察 测试 过 程 中 的 一 切 异 
常 现 象 ， 并 负责 输入 信息 和 管理 ， 初 步 检查 输出 结果 。 

(2) 测试 的 进行 

测试 值班 人 员 ， 要 对 可 靠 性 测试 过 程 的 严肃 性 、 准 确 性 全 面 负 责 。 因 此 ， 他 们 要 观察 
测试 现场 的 情况 ， 包 括 正常 的 、 异 常 的 都 在 内 。 环 境 的 变化 ， 操 作 员 的 更 友和 进行 的 一 切 
操作 都 要 实事 求 是 地 记录 。 

在 测试 过 程 中 ， 测 试 值班 人 员 要 完成 的 几 项 任务 是 : 


口 


OODODODO 


观察 测试 系统 运行 状况 ， 如 有 不 正常 运行 情况 出 现 ， 立 即 报告 有 关 人 员 ， 

输入 测试 用 例 所 需要 的 有 关 信息 ; 

对 输出 信息 做 正确 性 对 比 ， 初 步 判 定 输出 结果 的 正确 性 ; 

记录 测试 过 程 中 出 现 的 一 切 事件 ， 包 括 人 员 更 迭 和 测试 系统 的 运行 状况 ; 

在 测试 过 程 中 ， 如 出 现 错误 和 故障 ， 必 须 保存 好 现场 ， 尽 量 详细 地 记录 ， 并 通知 
有 关 人 员 进 一 步 分 析 处 理 。 处 理 故 障 的 起 止 时 间 ， 应 该 核实 并 准确 地 记录 。 


(3) 错误 的 处 理 
在 可 靠 性 测试 过 程 中 ， 如 果 遇 到 故障 或 错误 ， 一 定 要 做 好 以 下 工作 。 


口 


保存 错误 现场 。 出 现 错误 ， 保 存 现场 最 重要 ， 因 为 它 是 分 析 发 生 错 误 原因 的 出 发 
点 。 而 这 时 ， 有 关 人 员 可 能 比较 着 急 ， 心 中 也 无 数 ， 生 怕 错 误 出 现在 自己 负责 的 
部 分 ， 因 而 有 意 无 意 地 破坏 现场 。 因 此 ， 要 保存 错误 现场 ， 对 错误 现场 做 全 面 、 
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真实 地 记录 。 

请 有 关 人 员 观 看 并 分 析 现 场 。 只 有 在 所 有 人 员 在 观察 足够 并 确认 记录 完整 之 后 ， 
才 可 允许 有 关 人 员 为 查找 问题 而 触动 现场 。 

分 清 错误 或 故障 产生 的 原因 : 是 硬件 还 是 软件 ”如果 是 软件 发 生 问 题 的 话 ， 是 被 
测 软件 还 是 其 他 软件 ?该 故障 或 问题 能 否 在 现场 获得 解决 等 。 

决定 可 靠 性 测试 是 否 继续 进行 。 在 可 靠 性 测试 中 发 现 重 大 错误 ， 例 如 : 第 1 级 或 
第 2 级 错误 ， 可 靠 性 测试 可 能 要 停止 ， 等 排除 了 重大 错误 之 后 ， 再 进行 可 靠 性 测 
试 ， 如 果 是 小 的 缺陷 或 不 重要 的 错误 ， 可 靠 性 测试 可 以 继续 进行 。 究 竟 是 停止 还 
是 继续 进行 ， 由 测试 的 主持 者 和 领导 者 共同 协商 决定 。 


(4) 测试 的 结束 

软件 可 靠 性 测试 的 结束 ， 既 可 以 以 时 间 为 结束 标志 ， 也 可 以 以 事件 为 结束 标志 。 例 如 
连续 运行 多 少 小 时 无 故障 ， 人 工 停止 ， 也 可 以 是 一 个 什么 事件 的 出 现 ， 例 如 一 次 出 错 ， 为 
结束 标志 。 不 论 以 什么 为 结束 标志 ， 都 要 举行 结束 仪式 ， 并 完成 以 下 任务 。 


口 


口 
口 


5.3.4 


测试 小 组 全 体 人 员 到 现场 ， 做 好 测试 结束 标记 ， 命 令 操 作 人 员 停 机 ， 并 当众 宣布 、 
签字 表明 结束 ; 

收集 所 有 在 整个 测试 过 程 中 的 输出 结果 与 记录 信息 ， 准 备 进行 仔细 地 事后 分 析 ; 
如 果 在 可 靠 性 测试 过 程 中 ， 出 现 过 重大 错误 故障 、 一 般 性 的 小 错误 )， 则 根据 现 
场 的 有 关 材料 、 事 后 分 析 和 恢复 的 程度 ， 如 实地 反映 ， 准 备 事后 研究 ， 从 测试 执 
行者 的 角度 作出 自己 的 判断 。 


测试 总 结 


测试 总 结 ， 是 软件 可 靠 性 测试 的 第 4 阶段 ， 也 是 最 后 一 个 阶段 。 测 试 总 结 的 依据 是 : 


OOoOogo 


口 


测试 过 程 记录 信息 ; 

测试 过 程 中 系统 的 输出 结果 和 测试 工具 或 测试 用 例 的 输出 结果 ; 
错误 报告 (假如 发 生 错 误 ); 

软件 可 靠 性 估计 模型 (假如 有 共同 认可 的 模型 )。 


这 一 阶段 工作 的 最 终结 果 ， 是 写 出 “测试 分 析 报 告 ”。 
若 测试 报告 最 后 的 结论 是 不 满足 “软件 需求 说 明 ” 中 所 规定 的 软件 可 靠 性 要 求 ， 则 需 
要 提高 软件 的 可 靠 性 。 为 此 可 能 需要 局 部 或 全 局 地 修改 软件 。 修 改 完成 后 ， 返 回 第 3 阶段 
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新 进行 可 靠 性 测试 。 在 极为 特殊 的 情况 下 ， 被 测 软件 的 错误 太 多 或 错误 太 重 大 ， 简 单 的 
局 部 修改 不 能 解决 问题 ， 推 倒 重 来 ， 走 重新 设计 的 路 也 是 可 能 的 。 


| 


5.4 可 靠 性 测试 的 一 个 例子 : “银河 ”机 的 可 靠 性 测试 


我 国 具 有 完全 自主 版 权 的 巨型 机 “银河 ”(YH) 系列 。 经 过 二 十 多 年 的 发 展 ， 已 有 几 
个 型 号 ， 并 形成 系列 。 现 以 “银河 ”一 工 “YH-2)〉 的 可 靠 性 测试 为 例 说 明 。 


5.4.1 系统 可 靠 性 测试 计划 


(1) 系统 组 成 〈 略 ) 

(2) 测试 方法 

在 YH 一 2 操作 系统 控制 下 ， 多 道 作 业 运行 ， 全 系统 稳定 性 测试 150 小 时 。 

YH 一 2 主机 始终 保持 18 道 以 上 作业 ， 作 业 序 号 1~10 由 IOU0 所 接 前 端 机 送 入 主机 ， 
12~19 由 IOU1 所 连 前 端 机 送 入 主机 。 为 此 ,一 旦 某 道 作业 完毕 ， 立 即 送 入 相同 的 一 道 ， 将 
其 补 齐 。 为 了 保证 上 述 功能 的 实现 ， 在 两 个 前 端 机 各 建立 一 个 文件 : 

SUDJOB.COM 
以 便 完成 上 述 功 能 (由 于 前 端 机 盘 空 间 限制 ， 每 个 作业 的 输出 文件 仅 留 4 个 版 本 ， 其 文件 
名 为 S XXX.PR)。 

每 天 上 、 下 午 各 发 一 组 磁带 作业 ， 进 行 多 数据 流 磁带 操作 ， 以 验证 在 操作 系统 控制 下 ， 
磁带 的 正确 性 和 系统 的 稳定 性 。 

每 天 上 、 下 午 各 发 一 次 作业 序号 为 11 的 作业 ， 并 进行 绘图 输出 。 

在 值班 人 员 交 班 前 ， 用 操作 员 命 令 

YH > READ CPU 
了 解 系统 开销 情况 ， 并 予 记录 : 
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系统 开销 表 
CPU SRT IR BR STRT MTRT SYS EXEC 
N 累计 运行 时 间 | 下 单 任务 作业 | 多 任务 作业 | 系统 任务 | 内 核 
处 理 机 号 闲 等 待 | 忙 等 待 


考核 过 程 中 ， 测 试 组 专家 随时 抽样 检查 ， 验 证 运行 结果 的 正确 性 ， 每 个 作业 打印 一 份 

-输出 结果 归档 。 

当 150 小 时 完成 后 ， 即 挂 起 所 有 作业 ,将 系统 记录 的 有 关 信 息 打 印 输出 ， 并 进行 分 析 。 
(3) 系统 开销 计算 

Ti 一 一 4 个 CPU 总 计 运 行 时 间 

T: 一 一 操作 系统 (EXEC 和 STP) 在 4 个 CPU 上 总 计 运 行 时 间 


以 - 


Ts 一 一 4 个 CPU 总 计 等 待 时 间 
系统 总 开销 : 
ee 
T = 
Ta 一 一 一 个 CPU 运行 时 间 (n=CPU 号 ) 
Tu 一 一 一 个 CPU 上 操作 系统 (EXEC 和 STP) 运行 时 间 
Tis -个 CPU 等 待 时 间 
各 处 理 机 上 系统 开销 : 
T: 
Tu es 
Tm 一 一 一 个 CPU 作业 运行 时 间 (n= CPU 号 ) 
Ts 
Ta 


(4) 故障 判定 
系统 在 操作 系统 控制 下 多 道 作 业 运 行 150 小 时 过 程 中 ， 有 如 下 信息 提供 给 测试 人 员 : 
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每 个 作业 标准 运行 结果 的 打印 输出 资料 ; 
每 道 作业 每 次 运行 结束 时 运行 结果 打印 资料 ; 
系统 开销 情况 记录 ; 
系统 记录 的 有 关 信 息 打印 资料 。 
鉴定 考 机 人 员 可 根据 上 述 资料 和 记录 分 析 YH 一 2 系统 运行 情况 , 判断 是 否 出 现 错误 和 
故障 。 


DODOo 


5.4.2 ”测试 用 例 的 选择 


参加 YH 一 2 系统 测试 的 题目 ， 有 大 内 存 的 作业 ， 有 大 IO 的 作业 ; 有 以 向 量 为 主 的 作 
业 ， 又 有 以 标量 为 主 的 作业 ;除了 单 任务 作业 外 ， 还 有 多 任务 作业 ; 既 有 用 FORTRAN 语 
言 书写 的 作业 ， 又 有 用 汇编 语言 书写 的 作业 ;有 执行 时 间 长 达 一 万 多 秒 的 作业 ， 也 有 执行 
时 间 几 十 秒 的 作业 ;， 既 有 用 户 单位 的 题目 ， 又 有 当前 国际 上 流行 的 巨型 机 考题 。 具 体 题目 
如 表 5.1 所 示 。 


表 5.1 19 道 用 于 操作 系统 稳定 性 测试 的 题目 的 测试 结果 


ca CPU 作业 ”| 二 是 
四 时 间 “| 类 型 
(最 小 ) 
国家 气象 | 18299 多 任务 | FOR， 
T63H i 天 气 预 有 TI 
强 STIFF 系统 的 块 迭 代 法 | X 院 XxX 所 724 多 任务 
不 变 懂 入 法 求解 积分 方程 
国 科 大 12324 
内 在 入 科 中 国 科 大 多 任务 
分 支 链表 程序 di 5698 | 多 任务 
可 对 称 化 迭代 法 x 院 x 所 362 
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序号 | 作业 名 提供 单位 ei 备注 
6 FSW 二 位 离散 坐标 法 Xx 院 Xx 所 354 

到 中 汪 G 平面 二 维 万 爆 程序 X 院 XxX 所 407 

8 | RRR oh = 国家 地 震 局 1700 | 多 任务 

研究 中 国 地 壳 应 力 场 大 内 存 

9 | ZwMLWS 4957 

10 | ZwMOCS | 海洋 模拟 477 大 IO 
11 | JHWEMIG 58 

12 | HAll LINPACK 库 114 

13 | ZWMSMS | 地 震 迁 移 PERFECT 1084 | 大 LO 
14 | ZWMWSS | 数值 天 气 预报 PERFECT 271 

15 | ZWMAPS | 流体 动力 学 PERFECT 133 

16 | ZWMNAS | 分 子 动力 学 PERFECT 196 

17 | SUN 和 武汉 大 学 4765 | 大 LO 


Possion 方程 
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续 表 
序号 作业 名 题目 名 称 提供 单位 , SE Ss 备注 
PP" 小 术 早 位 时 间 类 型 注 

(最 小 ) 
2116 
18 | YITHYHI 测 网 加 密 程序 涿州 物探 局 sh 46 
22415 
19 | MXMOS 国防 科大 570 344 大 内 存 


5.4.3 ”测试 分 析 报 告 


YH 一 2 巨型 计算 机 系统 可 靠 性 测试 组 ， 根 据 “YH 一 2 巨型 计算 机 技术 测试 大 纲 ” 的 规 
定 ， 按 照 讨论 通过 的 “YH 一 2 系统 可 靠 性 测试 细则 ”， 于 1992 年 10 月 28 日 在 长 沙 国防 科 
技 大 学 ， 对 YH 一 2 巨型 计算 机 系统 的 可 靠 性 进行 了 严格 的 认真 的 测试 ， 结 果 报 告 如 下 : 

(1) 系统 组 成 〈 略 ) 

(2) 考核 时 间 

1992 年 10 月 21 日 15 时 00 分 开始 , 到 1992 年 10 月 27 日 21 时 30 分 人 工 停机 为 止 ， 
共 运 行 150 小 时 30 分 钟 。 

(3) 考核 方法 

系统 在 操作 系统 控制 下 ， 连 续 运 行 18 道 以 上 作业 。 作 业 有 大 内 存 的 、 大 IO 的、 向 量 
为 主 的 、 标 量 为 主 的 、 单 任务 的 、 多 任务 的 、FORTRAN 的 、 汇 编 的 、 运 行 1 万 多 秒 的 、 
运行 几 十 秒 的 、 用 户 大 型 题 和 国际 上 流行 的 巨型 机 考题 。 每 天 上 、 下 午 各 发 一 次 磁带 子 系 
统考 核 作 业 和 石油 二 维 偏 移 计算 绘图 作业 。 

故障 判定 : 由 故障 监测 系统 和 程序 运行 结果 验 核 ， 双 重 严格 判 错 。 

(4) 考核 结果 

150.5 小 时 考核 期 间 ， 第 97 小 时 和 第 127 小 时 系统 两 次 偶然 跳动 停机 ， 软 硬件 未 有 任 
何 维修 ， 再 启动 ， 系 统 继续 正常 运行 。 两 次 观察 机 器 现场 共用 时 2 小 时 26 分 。 

YH 一 2 操作 系统 、FORTRAN 编译 系统 、 汇 编 、 多 任务 库 和 库 软件 运行 稳定 正确 。75 
小 时 共 运 行 2 833 道 作业 ， 其 中 多 任务 作业 417 道 ， 单 任务 作业 2 416 道 ， 运 行 结果 正确 ， 
系统 CPU 开销 为 6.37% (包含 作业 系统 请 求 的 执行 时 间 )， 各 处 理 机 负载 分 别 为 : 
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CPUO/ CPU1/ CPU2/ CPU3 /= 93.5% /93.1% /93.1% /93.3%。 

(5) 测试 结论 

测试 组 一 致 认为 : 

YH 一 2 巨型 计算 机 系统 庞大 复杂 、 技 术 难 度 大 、 软 硬件 检测 手段 全 面 、 严 密 。 

经 严格 考核 测试 表明 ，YH 一 2 巨型 计算 机 全 系统 和 分 系统 的 平均 故障 间隔 时 间 、 系 统 
可 用 率 和 系统 稳定 性 等 指标 均 达 到 并 超过 设计 指标 ， 系 统 运行 稳定 可 靠 ， 在 国内 处 于 领先 
地 位 ， 可 与 世界 上 同类 规模 的 机 器 相 比 。 

鉴定 测试 分 组 一 致 同意 ，YH 一 2 巨型 计算 机 系统 可 靠 性 与 稳定 性 考核 通过 ， 并 提交 
YH 一 2 巨型 计算 机 技术 鉴定 组 审定 。 


YH 一 2 系统 可 靠 性 测试 组 
1992 年 10 月 28 上 日 


第 6 章 标准 符合 性 测试 


6.1 背景 与 概念 


没有 规矩 ， 不 成 方圆 。 任 何 一 种 技术 想 要 成 为 产业 都 必须 依靠 标准 化 的 工作 。 信 息 技 
术 作 为 新 兴 的 产业 , 在 很 大 程度 上 还 不 成 熟 ， 因 而 就 更 需要 大 量 标准 化 工作 的 帮助 。 例 如 ， 
市 场 上 相同 类 型 的 不 同 产品 ， 如 何 衡量 其 质量 优 劣 ? 显然 ， 需 要 一 个 标准 的 衡量 尺度 。 各 
个 厂家 可 以 依据 这 个 尺度 设计 和 生产 产品 ， 用 户 则 可 以 根据 这 个 尺度 评价 和 选择 产品 ， 第 
三 方 认 证 与 检测 机 构 也 可 以 依据 这 一 尺度 开展 认证 与 检测 工作 ， 这 样 就 达到 了 规范 市 场 的 
目的 。 我 国 已 经 加 入 了 世界 贸易 组 织 ， 如 何 合理 地 保护 和 扶持 民族 企业 ， 限 制 国外 企业 的 
垄断 ? 标准 化 工作 是 最 有 效 的 手段 。 通 过 制定 一 系列 标准 ， 合 理 地 在 一 定 范围 内 形成 技术 
壁垒 ， 就 可 以 为 民族 企业 赢得 时 间 ， 更 好 地 发 挥 自身 优势 ， 尽 快 增强 竞争 能 力 。 例 如 ， 日 
本 曾 规定 其 国内 的 操作 系统 必须 用 日 语 开发 ， 从 而 挡住 了 美国 软件 企业 的 进入 ， 保 证 了 本 
国 软件 企业 的 发 展 。 当 然 ， 这 种 手段 必须 遵循 一 定 的 原则 ， 绝 不 等 同 于 言 目 的 保护 落后 。 
1991 年 ISO/IEC 在 其 第 2 号 导 则 中 指出 : 标准 〈standard)， 为 在 一 定 范 围 内 获得 最 佳 
秩序 ， 对 活动 或 其 结果 规定 共同 的 和 重复 使 用 的 规则 、 导 则 或 特性 的 文件 。 该 文件 经 协商 
致 制定 并 经 一 个 公认 的 机 构 批 准 。 并 给 出 了 注解 : 标准 应 以 科学 技术 和 经 验 的 综合 成 果 
为 基础 ， 以 促进 社会 效益 为 目的 。 
从 上 述 定义 中 可 以 得 到 如 下 几 层 含义 : 
口 ” 制 定 标准 的 目的 是 :“ 为 在 一 定 范围 内 获得 最 佳 秩序 ”和 “促进 最 佳 社会 效益 ”。 
最 佳 秩序 是 指 科研 、 生 产 以 及 管理 上 的 秩序 ， 而 社会 效益 呢 ， 则 是 区 别 于 经 济 效 
益 而 具有 更 广泛 内 涵 的 ， 例 如 信息 安全 方面 的 标准 在 制定 时 ， 考 虑 经 济 因 素 就 相 
对 较 少 。 
口 ”标准 是 “在 一 定 范围 内 ”的 ， 并 非 针对 产品 的 所 有 方面 ， 重 点 是 放 在 “共同 的 和 
重复 使 用 的 ”地 方 ， 使 得 厂家 在 遵守 标准 的 同时 仍然 可 以 充分 发 挥 自己 的 技术 优 
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势 ， 同 时 在 各 自 技术 与 利益 的 交集 上 形成 统一 的 规则 。 
口 “ 标 准 的 形成 是 “以 科学 技术 和 经 验 的 综合 成 果 为 基础 ” 并 且 “ 经 协商 一 致 制定 
经 一 个 公认 的 机 构 批准 ”。 这 样 就 保证 了 标准 的 科学 性 、 公 正 性 和 适用 性 。 

上 述 工作 就 称 为 “标准 化 工作 ”“ 标 准 化 ”在 第 2 号 导 则 中 也 有 明确 定义 : 标准 化 
(standardization ), 为 在 一 定 的 范围 内 获得 最 佳 秩序 , 对 实际 的 或 潜在 的 问题 制定 共同 和 重 
复 使 用 的 规则 的 活动 。 

口 上 述 活 动 主要 是 包括 制定 、 发 布 及 实施 标准 的 过 程 。 

口 ”标准化 的 重要 意义 是 改进 产品 、 过 程 或 服务 的 适用 性 ， 防 止 贸易 壁垒 ， 并 促进 技 

术 合 作 。 

通过 标准 化 的 工作 ， 可 以 有 效 地 控制 软件 产品 质量 问题 。 首 先 ， 虽 然 开 发 团队 中 的 个 
体 之 间 可 能 存在 极 大 的 差异 ， 但 我 们 可 以 通过 标准 规定 每 个 个 体 必须 执行 的 所 有 要 素 ， 例 
如 要 求 他 们 为 自己 的 代码 添加 足够 的 注解 、 按 照 命名 标准 为 变量 命名 、 按 要 求 在 特定 的 时 
间 完 成 特定 的 文档 等 。 一 套 完整 的 软件 产品 开发 标准 将 把 所 属 的 开发 队伍 改造 成 强大 的 机 
械 手 。 其 次 ， 可 以 通过 标准 规定 某 类 产品 必须 具备 的 功能 与 性 能 指标 ， 并 规定 该 类 产品 所 
必须 遵循 的 接口 标准 ， 这 样 就 可 以 解决 Linux 应 用 开发 商 们 曾经 面临 的 问题 了 。 最 后 ， 如 
何 来 监督 这 些 工作 的 实施 呢 ? 开 发 中 标准 的 遵循 程度 将 反映 企业 生产 高 质量 软件 产品 的 能 
力 ， 这 需要 通过 “认证 ”来 验证 ; 产品 是 否 达到 了 标准 中 规定 的 各 项 指标 ， 则 需要 通过 “ 测 
试 ”来 验证 。 标 准 符合 性 测试 不 同 于 其 他 测试 的 主要 之 处 ， 就 在 于 标准 符合 性 测试 的 目的 
是 确定 标准 中 规定 的 各 项 条 款 在 产品 中 被 遵循 的 情况 。 


6.2 家 软件 相关 标准 


6.2.1 标准 的 分 类 


随 着 我 国信 息 产 业 的 发 展 ， 国 家 颁布 了 众多 的 有 关 标 准 。 按 照 标准 内 容 划 分 ， 信 息 技 
术 领 域 的 国家 标准 的 分 类 情况 大 致 如 图 6.1 所 示 〈 见 文 后 插页 )。 

原 国 家 质量 技术 监督 局 标准 化 司 和 全 国信 息 技术 标准 化 技术 委员 会 2000 年 10 月 发 布 
的 《国家 信息 化 标准 体系 表 》 给 出 了 图 6.1 中 各 类 标准 的 明细 表 ， 包 括 了 信息 化 系统 在 信 
息 采 集 、 处 理 、 存 储 、 传 输 和 使 用 领域 的 全 部 软 、 硬 件 标准 共计 约 一 千 六 百 项 。 表 6.1 中 
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只 就 较 常 用 的 几 个 标准 类 别 所 包括 的 标准 进行 了 举例 ， 更 详细 的 信息 可 以 咨询 全 国信 息 技 
术 标 准 化 技术 委员 会 。 


表 6.1 各 类 标准 举例 


标准 名 称 标准 中 相关 具体 部 分 
GB/T 5271.1-1985《 数 据 处 理 词 汇 01 部 分 基本 术语 》 
GB/T 5271.2-1988《 数 据 处 理 词 汇 ”02 部 分 算术 和 逻辑 运算 》 


wa GB/T 5271.3-1987《 数 据 处 理 词汇 ”03 部 分 设备 技术 》 
GB/T 13725-1992《 建 立 术语 数据 库 的 一 般 原则 和 方法 》 
GB 2312-1980《 信 息 交 换 用 汉字 编码 字符 集 ”基本 集 》 
中 文 编码 GB 18030-2000《 信 息 技 术 信息 交换 用 汉字 编码 字符 集 ”基本 集 的 扩充 》 
字符 集 标准 GB 13134-1991《 信 息 交 换 用 苏 文 编码 字符 集 》 
GB/T 11460-1989《 信 息 处 理 设备 中 汉字 点 阵 字模 数据 的 检测 方法 》 
中 文字 型 标准 GB/T 17961-2000《 印 刷 体 汉字 识别 系统 要 求 与 测试 方法 》 
GB/T 17698-1999《 信 息 技术 通用 多 八 位 编码 字符 集 (I 区 ) 汉字 16 点 阵 字 型 》 
GB/T 8566-1995《 信 息 技术 ”软件 生存 期 过 程 》 
GB/T 9386-1988《 计 算 机 软件 测试 文件 编制 规范 》 
件 工 程 标准 
生生 GB/T 15532-1995《 计 算 机 软件 单元 测试 》 
GB/T 14246.1-1993《 信 息 技 术 可 移植 的 操作 系统 接口 (POSIX) ”第 1 部 分 : 系 
统 应 用 程序 接口 (API)(C 语言 )》 
操作 系统 标准 | 移民 用 程序 搂 


GB/T 16681-1996 《信息 技术 开放 系统 中 文 界面 规范 》 
GB/T 12991-1991《 信 息 处 理 系统 ”数据库 语言 SQL》 
GB/T 16647-1996《 信 息 技术 信息 资源 词典 系统 (IRDS) 框架 》 
数据 库 标 准 GB/T 17533.1-1998《 信 息 技 术 ”开放 系统 互 连 ”远程 数据 库 访问 ”第 1 部 分 : 类 
属 模型 、 服 务 与 协议 》 
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标准 名 称 标准 中 相关 具体 部 分 
GB/T 17973-2000《 信 息 技术 系统 间 远 程 通信 和 信息 交换 在 因特网 传输 控制 协 
Internet 标准 议 (TCP) 之 上 使 用 OSI 应 用 》 
GB/T15278-1994《 信 息 处 理 ”数据 加 密 ”物理 层 可 互 操作 性 要 求 》 
GB/T17963-2000《 开 放 系统 互 连 ”网 络 层 安全 协议 》 


络 安全 标准 
mE GB/T17965-2000《 开 放 系统 互 连 ”高 层 安全 模型 》 
GB/T14916-1994《 识 别 卡 ” 物 理 特性 》 
GB/T17552-1998《 识 别 卡 ”金融 交易 卡 》 
识别 卡通 用 标准 ee 


GB/T17554-1998《 识 别 卡 ”测试 方法 》 
GB/T15843.1-1999《 信 息 技 术 ”安全 技术 ”实体 鉴别 第 1 部分: 概述 》 
信息 安全 技术 GB/T18019-1999《 信 息 技 术 ” 包 过 滤 防 火 墙 安全 技术 要 求 》 
标准 GB/T17859-1999《 计 算 机 信息 系统 ”安全 保护 等 级 划分 准则 》 
GB/T14915-1994《 电 子 数据 交换 术语 》 
GB/T17549-1998《 用 于 行政 、 商 业 和 运输 业 电子 数据 交换 的 业务 与 信息 模型 花 
EDI 通用 标准 框架 》 
GB/T17628-1998《 信 息 技 术 ”开放 式 EDI 参考 模型 》 
GB/T17544-1998《 信 息 技 术 ”软件 包 质量 要 求 和 测试 》 
GB/T13158-1991《 数 字 交 换 机 的 时 钟 同步 设备 进入 数字 网 的 兼容 性 测试 方法 》 


测试 与 评估 通用 
标准 


各 类 标准 中 ， 中 文通 用 标准 〈 包 括 中 文 编码 字符 集 标准 和 中 文字 型 标准 ) 与 软件 工程 
标准 对 软件 产品 的 质量 具有 最 为 直接 的 影响 ， 应 该 引起 软件 产品 开发 企业 的 高 度 重 视 。 


6.2.2 ”软件 工程 类 标准 


软件 工程 类 标准 中 规定 了 软件 产品 的 质量 评价 准则 、 软 件 开发 过 程 中 的 大 量 应 注意 的 
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事项 ， 其 中 对 软件 企业 研发 能 力 评估 的 模型 、 软 件 质 量 体 系 与 认证 等 内 容 是 标准 符合 性 测 
试 工作 中 应 用 较 多 的 一 类 标准 。 其 中 的 GB/T 17544-1998《 信 息 技术 软件 包 质量 要 求 和 测 
试 》 和 GB/T 16260-1995《 信 息 技术 软件 产品 评价 质量 特性 及 其 使 用 指南 》 更 是 作为 目前 
国内 各 软件 测试 实验 室 测试 工作 的 指南 。 
(1) 软件 工程 类 标准 体系 
软件 工程 类 标准 体系 如 图 6.2 所 示 。 


软 专业 基础 
软件 过 各 

加 

各 软件 产品 与 质量 
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图 6.2 软件 工程 标准 体系 


(2) GB/T 17544-1998《 信 息 技术 软件 包 质量 要 求 和 测试 》 
GB/T 17544 规定 了 软件 包 的 质量 要 求 和 针对 这 些 要 求 对 软件 包 进行 测试 的 细则 ， 特 别 
是 第 三 方 测试 。 标 准 明确 规定 ， 它 只 涉及 要 提供 的 或 要 交付 的 软件 包 ， 不 涉及 它们 的 产生 
过 程 ， 也 不 包括 供 方 的 质量 体系 。 它 的 用 户主 要 包括 : 某 些 软件 的 供 方 、 希 望 建 立 第 三 方 
认证 模式 (国际 的 、 地 区 的 及 国家 的 )[ISO/IEC 第 16、 第 28 和 第 44 号 导 则 ] 的 认证 机 构 、 
为 合格 证 书 或 标志 而 进行 测试 的 测试 实验 室 (遵循 [ISO/IEC17025 号 导 则 ])、 认 可 认证 机 构 
和 测试 实验 室 的 认可 机 构 [ISO/IEC 第 40 和 第 58 号 导 则 ]、 评价 测试 实验 室 能 力 的 实验 室 审 
核 员 [ISO/IEC 第 58 号 导 则 ]、 某 些 购买 者 和 用 户 。 
标准 正文 中 主要 包括 质量 要 求 和 测试 细则 两 部 分 。 质量 要 求 中 规定 了 产品 描述 的 要 求 、 
用 户 文档 的 要 求 和 包含 在 软件 包 中 的 程序 要 求 和 数据 要 求 ; 测试 细则 中 规定 了 测试 预 要 求 、 
测试 活动 、 测 试 记 录 、 测 试 报告 和 跟踪 测试 。 描 述 了 所 有 符合 产品 要 求 的 性 质 测 试 和 按照 
产品 描述 约定 的 性 质 测试 。 包 括 通 过 文档 的 检查 测试 和 程序 及 数据 的 黑 盒 测试 。 
(3) GB/T 16260-1995《 信 息 技术 软件 产品 评价 质量 特性 及 其 使 用 指南 》 
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GB/T 16260 定义 了 软件 质量 的 6 大 特性 , 并 描述 了 如 何 使 用 质量 特性 来 评价 软件 质量 。 
标准 就 软件 的 功能 性 、 可 靠 性 、 易 用 性 、 效 率 、 维 护 性 、 可 移植 性 6 大 特性 给 出 了 明确 的 
定义 ， 但 没有 对 各 特性 的 子 特 性 及 其 度量 ， 以 及 有 关 的 测量 、 评 级 和 评估 方法 做 规定 。 标 
准 的 正文 中 除了 软件 质量 特性 外 ， 给 出 了 质量 特性 的 使 用 指南 ， 适 用 于 对 软件 质量 需求 进 
行 定 义 和 对 软件 产品 进行 评价 (测量 、 评 级 和 评估 )。 其 内 容 主 要 包括 : 

口 ”定义 软件 产品 质量 需求 ; 
评价 软件 规格 说 明 在 开发 期 间 是 否 满足 质量 需求 ; 
描述 已 实现 的 软件 特征 和 属性 ; 

对 开发 的 软件 在 其 未 交付 使 用 以 前 进行 评价 ; 
在 软件 验收 前 ， 对 它 进行 评价 。 

另外 ， 标 准 还 以 用 户 观 点 、 开 发 者 观点 和 管理 者 观点 对 质量 特性 做 了 各 种 描述 ， 并 给 
出 了 评价 过 程 模型 。 

以 上 两 个 标准 在 软件 产品 质量 控制 方面 起 到 了 重要 的 作用 ， 但 由 于 其 制定 年 份 较 早 ， 
而 软件 行业 的 发 展 又 极为 迅速 ， 这 两 个 标准 在 实际 工作 中 的 可 操作 性 越 来 越 差 。ISO/IEC 
9126 和 ISO/IEC 14598 针对 这 一 问题 做 了 大 量 调整 ， 进 一 步 量 化 了 许多 质量 因子 ， 使 得 软 
件 产品 的 测试 更 加 容易 理解 和 开展 。 与 之 对 应 的 国家 标准 的 制定 工作 正在 加 紧 进 行 中 。 


6.2.3 中文 信息 处 理 标准 


OOO DO 


在 中 国 市 场 上 行销 的 软件 产品 ， 必 须要 处 理 中 文 信息 ， 而 处 理 中 文 信息 的 方式 要 遵从 
我 国 颁布 的 国家 标准 。 对 应 于 软件 的 输入 、 输 出 和 处 理 3 大 部 分 ， 中 文 信息 处 理 标 准 也 分 
为 中 文 输入 法 、 中 文字 型 和 中 文 编码 3 大 部 分 。 它 们 是 软件 产品 进行 中 文 信息 处 理 的 基础 ， 
任何 涉及 到 这 3 个 方面 的 软件 产品 ,在 其 开发 过 程 中 都 应 遵从 相应 的 标准 。 开 发 后 的 产品 
应 在 进入 市 场 前 考虑 其 进行 标准 符合 性 测试 的 必要 性 。 

对 于 这 3 类 标准 ， 目 前 国内 各 企业 的 理解 程度 相差 很 大 ， 个 别 产品 研制 完成 后 才 发 现 
没有 考虑 标准 的 符合 性 问题 ， 导 致 返工 。 下 面 就 依次 介绍 一 下 这 些 标 准 。 

1. 中 文字 符 集 和 编码 标准 

我 们 知道 ， 计 算 机 中 的 信息 是 以 二 进 制 的 形式 存储 的 ， 八 位 二 进 制 为 一 个 字 节 ， 是 基 
本 的 存储 单位 。 在 早期 ， 计 算 机 只 能 处 理 英文 字符 、 阿 拉 伯 数 字 和 一 些 标点 符号 等 少量 文 
字 信息 ， 方 法 就 是 建立 一 种 像 字典 一 样 的 对 应 关系 ， 将 文字 翻译 成 计算 机 可 以 识别 的 二 进 


制 编码 。 
0001) 对 应 a 等 。 
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与 之 相应 的 国际 标准 是 ISO/IEC 646， 国 
信息 交换 用 七 位 编码 字符 集 》。 这 是 一 种 单字 节 编 码 , 利用 字 节 中 除 最 
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例如 ASCII 码 (美国 标准 信息 交换 码 ) 中 : H41 (0100 0001) 对 应 A，H61 (0110 


家 标准 是 GB/T 1988《 信 息 处 理 


高 位 外 的 其 余 七 位 进 


行 编码 ， 所 以 可 以 提供 2 个 编码 位 置 ， 即 128 个 ， 规 定 了 部 分 字母 、 数 字 及 符号 的 图 形 字 
符 和 一 些 控制 字符 ， 如 图 6.3 所 示 。 
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显然 ， 这 一 标准 并 


远 超出 了 单字 节 可 以 提供 的 编码 空 


图 6.3 GB/T 1988 中 规定 的 编码 及 字符 


没有 考虑 拉丁 字母 以 外 的 文字 的 支持 ， 
间 。 为 此 ,我国 在 1980 年 颁布 了 第 一 个 中 文字 符 集 编码 


尤其 是 中 文 ， 汉 字 的 字数 远 
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标准 ， 即 GB 2312-1980《 信 息 交 换 用 汉字 编码 字符 集 基本 集 》， 该 标准 规定 了 6 763 个 汉 
字 和 682 个 非 汉 字 图 形 符号 的 编码 。 它 的 实现 基础 则 是 GB 2311《 信 息 技术 字符 代码 结构 
与 扩充 技术 》(ISO/IEC 2022)。 按 照 GB 2311 编码 体系 的 规定 图 形 字符 在 8 位 (或 7 位 ) 
代码 中 应 具有 由 1 个 或 多 个 8 位 (或 7 位 ) 位 组 〈 字 节 ) 构成 的 编码 表示 ， 而 由 单个 位 组 
表示 的 每 个 字符 所 在 的 编码 图 形 字 符 集 应 是 94 字符 集 (0x21~0x7E 或 0xXA1~0xFE) 或 96 
字符 集 (0x20~0x7F 或 0xA0~0xFF)。 如 此 ， 每 个 字符 通过 n 个 位 组 串 列表 示 的 编码 图 形 字 
符 集 (n>1) 应 是 94n 字符 集 或 96n 字符 集 。 通 过 转 义 字符 ESC 加 上 一 些 参数 构成 转 义 序 
列 来 指明 调用 GB 2312 汉字 字符 集 , 再 通过 移 位 功能 调用 GB 2312 中 的 各 个 94 字符 集 ( 即 
各 个 区 )。GB 2312 为 我 国信 息 产 业 的 发 展 葛 定 了 基础 ， 可 以 说 , 没有 这 一 标准 就 没有 中 国 
的 信息 化 建设 基础 。 

随 着 信息 技术 在 各 行业 应 用 的 深入 ，GB 2312 收录 汉字 数量 不 足 的 缺点 已 经 逐步 显露 
出 来 。 例如 :“ 猴 ” 字 现在 是 高 频率 使 用 字 , 而 GB 2312 却 没有 为 它 编码 ， 因 而 政府 、 新 闻 、 
出 版 、 印 刷 等 行业 和 部 门 在 使 用 中 感到 十 分 不 便 。 为 此 ， 原 电子 部 和 原 国家 技术 监督 局 于 
1995 年 联合 颁布 了 指导 性 技术 文件 《汉字 内 码 扩展 规范 》1.0 版 ， 即 GBK。 

在 汉字 处 理 系 统 中 ， 由 于 GB 2312 需要 经 常 性 地 使 用 转移 序列 规则 ， 最 广泛 使 用 的 实 
际 是 经 过 GB 2312+8080H 移 位 后 的 内 码 模式 。 因 为 如 不 使 用 转 义 序列 规则 ，GB2312 规定 
的 一 个 汉字 字符 的 交换 码 用 两 个 ASCII 图 形 字 符 编 码 的 表示 方法 ， 在 我 国 最 初 的 计算 机 上 
实现 中 西 文 信息 兼容 时 会 造成 汉字 内 码 与 汉字 交换 码 的 不 一 致 性 。 为 解决 这 一 问题 ， 国 内 
外 推出 了 十 多 种 计算 机 汉字 内 码 制式 ， 最 常用 的 就 是 两 字 节 内 码 制 式 ， 而 在 其 中 以 高 位 为 
“1” 的 两 字 节 内 码 应 用 最 广 〈 所 以 要 移 位 8080H)， 它 是 把 汉字 交换 码 两 字 节 高 位 置 “1” 
而 成 ， 例 如 在 CC-DOS 系统 中 。 台 湾 的 CNS 11643、 日 本 的 JIS 0203 等 标准 也 是 采用 同样 
方式 来 实现 。 

GBK 在 GB 2312 内 码 系统 的 基础 上 进行 了 扩充 ,其 内 码 空间 为 0x8140~0xFEFE, 去 除 
第 二 字 节 的 0x7F (192 个 码 位 )， 总 共 23 940 个 码 位 。 它 收录 了 GB 13000.1-1993 的 全 部 
20 902 个 CJK 统一 汉字 ， 包 括 GB 2312 的 全 部 6 763 个 汉字 。 此 外 ， 它 增补 编码 了 52 个 
汉字 ，13 个 汉字 结构 符 〈 在 ISO/EC 10646.1: 2000 中 称 为 表意 文字 描述 符 ) 和 一 些 常用 部 
首 与 汉字 部 件 。 在 GBK 的 内 码 系统 中 ，GB 2312 汉字 所 在 码 位 保持 不 便 ， 这 样 ， 保 证 了 
GBK 对 GB 2312 的 完全 兼容 。 同 时 ，GBK 内 码 与 GB 13000.1 代码 一 一 对 应 ， 为 GBK 向 
GB 13000.1 的 转换 提供 了 解决 办 法 。 
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GBK 码 位 空间 如 图 6.4 所 示 。 


第 二 字 节 
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中 的 位 置 
OxFE 


图 6.4 ”GBK 的 码 位 空间 


随 着 世界 范围 内 互连网 的 发 展 ， 各 国 间 信息 交换 的 需求 剧 增 ， 为 了 对 世界 上 所 有 的 文 
字 统 一 编码 以 实现 各 种 文字 在 计算 机 中 的 统一 处 理 ， 国 际 标准 化 组 织 下 属 编码 字符 集 工 作 
组 研制 了 新 的 编码 字符 集 标准 ，ISO/I[EC 10646。 该 标准 第 一 次 颁布 是 在 1993 年 ， 并 且 只 
颁布 了 第 一 部 分 ， 即 ISO/IEC 10646.1: 1993， 我 国 相应 的 国家 标准 是 GB 13000.1-93《 信 息 
技术 通用 多 八 位 编码 字符 集 (UCS) 第 一 部 分 : 体系 结构 与 基本 多 文 种 平面 》。 制 定 这 个 
标准 的 目的 是 对 世界 上 的 所 有 文字 统一 编码 ， 以 实现 世界 上 所 有 文字 在 计算 机 上 的 统一 
处 理 。 

GB 13000 建立 了 一 个 全 新 的 编码 体系 。 它 被 称 做 “多 八 位 ”编码 字符 集 ， 是 因为 它 采 
用 4 个 “ 八 位 ”( 即 8 bit 或 称 做 字 节 ) 编码 。 这 4 个 字 节 被 用 来 分 别 表 示 组 、 平 面 、 行 和 
字 位 ， 如 图 6.5 所 示 。 

可 以 看 出 ，GB 13000 的 总 编码 位 置 高 达 2 147 483 648 个 〈128 组 X256 平面 X256 行 
X256 字 位 )。 目 前 实现 的 是 00 组 的 00 平面 ， 称 为 “基本 多 文 种 平面 ”(Basic Multilingual 
Plane，BMP)， 编 码 位 置 65 536 个 。 由 于 基本 多 文 种 平面 所 有 字符 代码 的 前 两 个 字 节 都 是 
0 (00 组 00 平面 XX 行 XX 字 位 )， 因 此 ， 目 前 在 默认 情况 下 ， 基 本 多 文 种 平面 按照 两 字 节 
处 理 。 

GB 13000 的 优点 和 特点 非常 明显 : 

口 “编码 空间 非常 巨大 ， 可 以 容纳 多 种 文字 同时 编码 ， 也 就 保证 了 多 文 种 同时 处 理 ; 
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图 6.5 通用 多 八 位 编码 字符 集 的 全 部 编码 


口 ”作为 统一 的 编码 ， 拉 丁 语系 的 文字 与 其 他 文字 一 样 ， 都 是 采用 相同 数目 的 “ 八 位 ” 
编码 ， 即 : 都 是 四 字 节 ， 在 基本 多 文 种 平面 ， 都 是 双 字 节 ， 对 于 GB 1988 (ISO 
646/ASCII) 字符， 直接 增加 高 八 位 为 0x00 即 可 ; 

口 ”字符 和 字形 的 区 分 十 分 清楚 : 字符 是 负载 文本 内 容 的 抽象 实体 ， 而 字形 则 是 可 视 
的 具体 图 形 形 式 ; 

口 通过 采用 汉字 认同 规则 , 各 国家 /地 区 的 汉字 统一 编码 ， 既 满足 各 国家 /地 区 对 编码 
汉字 数目 的 实际 需求 ， 又 不 至 于 因 汉 字 在 基本 多 文 种 平面 占据 的 码 位 过 多 而 影响 
到 其 他 文字 的 编码 ; 

口 ”由 于 世界 上 的 文字 数量 巨大 ， 不 可 能 将 所 有 文字 编码 ， 为 此 ， 划 定 了 专用 区 ， 供 
标准 使 用 者 实现 其 对 未 编码 字符 的 特别 需要 。 

基本 多 文 种 平面 码 位 分 配 简 图 如 图 6.6 所 示 。 
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中 日 韩 统一 汉字 扩充 A 
中 日 韩 统一 汉字 
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中 日 韩 兼容 汉字 


FB Alphabetic Presentation Forms 

FC Arabic Presentation Forms-A 

FD 

FE (Comb. Half Mks|CJK Compact. Forms| Small Form Vars. 耳 Presentation Forms-B 

FF Half width And Full width Forms | Specials 
er -保留 作为 将 来 标准 化 使 用 


图 6.6 基本 多 文 种 平面 码 位 分 配 简 图 
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在 此 值得 一 提 的 是 UTF-16， 这 是 GB 13000 (ISO/IEC 10646) 第 2 版 新 增 的 内 容 ， 它 
为 辅助 平面 的 实现 提供 了 一 种 可 行 的 方式 。 

UTF-16 是 UCS Transformation Format - 16 的 缩写 ， 意 思 是 通用 字符 集 转 换 格式 。 它 
为 超过 一 百 万 个 UCS 四 字 节 图 形 字 符 提供 了 一 种 与 当前 两 字 节 的 基本 多 文 种 平面 形式 兼 
容 的 编码 显现 形式 。 在 基本 多 文 种 平面 ，S 区 (Surrogate Zone， 代 理 区 ) 被 分 成 高 半 区 

(D800~DBFF)〉 和 低 半 区 (DC00~DFFF) 两 个 部 分 ， 两 部 分 中 各 取 一 个 代码 组 成 一 对 ， 共 
有 1 048 576 个 组合 , 分 别 对 应 到 00 组 的 00~OF 共 16 个 平面 的 所 有 码 位 。 即 在 基本 多 文 种 
平面 的 S 区， 任何 一 个 代码 都 不 能 单独 使 用 ， 因 为 没有 字符 在 这 里 编码 。 而 当 S 区 的 高 、 
低 两 个 半 区 的 代码 结合 在 一 起 时 才 是 有 意义 的 。 

1995 年 之 后 的 实践 表明 ，GBK 作为 行业 规范 , 缺乏 足够 的 强制 力 , 不 利于 其 本 身 的 推 
广 , 而 GB 13000 的 实现 又 脚步 缓慢 , 现 有 汉字 编码 字符 集 标 准 已 经 不 能 满足 我 国信 息 化 建 
设 的 需要 。 在 银行 、 交 通 、 公 安 、 户 政 、 出 版 印刷、 国土 资源 管理 等 行业 ， 对 新 的 、 大 型 
的 汉字 编码 字符 集 标准 的 要 求 尤 其 迫切 。 

为 此 , 原 国家 质量 技术 监督 局 和 信息 产业 部 组 织 专家 于 2000 年 制定 发 布 了 新 的 编码 字 
符 集 标 准 ，GB 18030《 信 息 技术 “信息 交换 用 汉字 编码 字符 集 ”基本 集 的 扩充 》。 

GB 18030 的 双 字 节 部 分 完全 采用 了 GBK 的 内 码 系统 (如 图 6.5 所 示 )。 在 此 基础 上 ， 
做 了 四 字 节 扩展 , 四 个 字 节 的 编码 空间 依次 是 : 0x81 到 0xFE, 0x30 到 0x39, 0x81 到 0xFE， 
0x30 到 0x39。 总 共 1 587 600 个 码 位 。 

GB 18030 四 字 节 码 位 空间 图 如 图 6.7 所 示 。 

这 样 ，GB 18030 的 编码 空间 达到 了 总 共 23 940 + 1 587 600。 它 不 仅 可 以 收录 需要 的 全 
部 汉字 ， 而 且 还 有 充足 的 空间 收录 我 国 少数 民族 文字 。 在 2000 年 版 中 ，GB 18030 收录 了 
ISO/IEC 10646.1: 2000 的 全 部 27 484 个 CJK 统一 汉字 ,13 个 表意 文字 描述 符 、 部 分 汉字 部 
首 和 部 件 、 欧 元 符号 。 

在 编码 体系 上 ，GB 18030 保持 了 从 GBK 开始 的 内 码 和 交换 码 概 念 的 统一 。GB 18030 
完全 兼容 GB 2312 和 GBK 的 编码 体系 , 继承 GBK 的 代码 映射 表 的 优点 , 解决 了 GB 18030 
和 GB 13000 之 间 的 代码 转换 问题 。 

与 GB 13000.1 相 比 ， 两 个 标准 采用 的 编码 空间 都 足以 容纳 世界 上 的 所 有 文字 ， 而 GB 
18030 力图 为 全 部 汉字 和 我 国 所 有 少数 民族 文字 编码 ; GB 13000 则 力图 为 世界 上 所 有 的 文 
字 编 码 ， 二 者 的 针对 性 是 存在 区 别 的 。 虽 然 ，GB 13000 全 部 采用 了 四 字 节 编码 ，GB 18030 
采用 的 是 双 字 节 和 四 字 节 混合 编码 ， 在 国内 的 具体 情况 下 具有 更 好 的 兼容 性 ， 可 以 使 原 有 
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的 编码 体系 平滑 地 向 新 的 编码 体系 过 渡 ， 同 时 与 GB 13000 之 间 也 存在 一 一 对 应 的 映射 关 
系 。 因 此 ， 到 目前 为 止 ，GB 18030 仍 是 国内 中 文 编 码 字符 集中 最 为 适用 的 标准 ， 是 各 企业 
的 最 佳 选择 。 同 时 , 为 了 我 国信 息 产 业 长 期 健康 有 序 地 发 展 , 原 国家 质量 技术 监督 局 以 “ 质 
技 监 局 标 发 [2000]251 号 ”文件 明确 规定 : 委托 “信息 处 理 产品 标准 符合 性 检测 中 心 ”进行 
GB 18030-2000 的 标准 符合 性 测试 工作 。 因 此 ， 市 场 上 的 没有 通过 “信息 处 理 产 品 标准 符 
合 性 检测 中 心 ”测试 的 产品 均 被 认为 不 符合 GB 18030， 属 不 合格 产品 。 


共 1260 组 


第 四 字 节 
Ox81 Ox81 
第 第 Ox81 
字 字 
第 市 
OxFE 

OxFE 

0x30 ———$> 0x39 0x30 一 039 OxFE 

第 二 字 节 第 四 字 节 0x30 一 0x39 
第 一 、 第 二 字 节 结 构 第 三 、 第 四 字 节 结构 四 字 节 总 体 结构 


图 6.7 GB 18030 四 字 节 码 位 


2. 中 文 输入 法 标准 

中 文 输入 法 是 我 们 与 计算 机 进行 中 文 信息 交互 的 重要 手段 ， 按 照 输入 设备 的 不 同 ， 可 
以 分 为 键盘 输入 法 、 手 写 识别 输 入 法 、 语 音 识别 输入 法 等 。 其 中 键盘 输入 方式 出 现 得 最 早 ， 
在 20 世纪 80 年 代 初 期 就 已 出 现 。 但 由 于 当时 的 硬件 条 件 制约 ， 无 法 很 好 地 考虑 其 易 用 性 
与 规范 性 。 实 现 的 途径 大 都 是 简单 地 把 汉字 按照 一 定 的 规则 映射 到 键盘 上 的 键 位 组 合 ， 
面向 的 对 象 也 多 局 限于 专业 操作 人 员 。 随 着 计算 机 技术 的 飞速 发 展 ， 硬 件 设备 的 性 能 已 大 
大 提高 ， 留 给 输入 法 开发 商 的 腾挪 空间 也 越 来 越 大 ， 输 入 法 产品 的 规模 从 几 KB、 几 十 KB 
到 几 百 MB 不 等 ， 采 用 的 方法 也 划分 为 笔画 、 部 件 、 拼 音 、 音 形 结合 等 。 在 性 能 方面 ， 还 
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增加 了 词语 、 联 想 、 整 多、 自学 习 、 模 糊 识别 等 功能 。 输 入 法 产品 的 急剧 增加 ， 不 可 避免 
地 导致 了 输入 法 产品 市 场 的 混乱 。 面 对 众多 的 产品 ， 缺 乏 统一 的 衡量 标准 ， 产 品 涉及 的 语 
言 文字 规范 性 普遍 较 差 。 例 如 ， 笔 顺 混乱 、 读 音 错 误 、 部 首选 取 不 科学 等 的 错误 比比 缘 是 。 
针对 这 样 的 情况 ， 信 息 产 业 部 首先 针对 刚刚 起 步 的 数字 键盘 汉字 输入 法 产品 制定 了 国家 标 
准 GB/T 18031-2000《 信 息 技术 数字 键盘 汉字 输入 通用 要 求 》。 该 标准 明确 规定 了 输入 法 产 
品 中 涉及 的 笔顺 、 读 音 、 部 件 等 必须 符合 《汉语 拼音 方案 》《 普 通话 异 读 审 音 表 》， 以 及 国 
家 语言 文字 工作 委员 会 颁布 的 《GB 13000.1 字符 集 汉 字 笔 顺 规范 》 和 《信息 处 理 用 GB 
13000.1 字符 集 汉 字 部 件 规范 》。 通 过 输入 法 产品 可 以 输入 的 汉字 字汇 范围 必须 符合 GB 
2312-1980《 信 息 技术 信息 交换 用 汉字 编码 字符 集 基本 集 》GB1 3000.1-1993《 信 息 技术 通 
用 多 八 位 编码 字符 集 (UCS) 第 一 部 分 : 体系 结构 与 基本 多 文 种 平面 )、GB 18030-2000《 信 
息 技术 信息 交换 用 汉字 编码 字符 集 基本 集 的 扩充 》 三 个 编码 字符 集 标准 之 一 。 另 外 还 规 
定 了 高 品质 输入 法 产品 应 具备 的 其 他 性 能 指标 ， 例 如 易学 易 用 、 重 码 字 词 键 选 率 和 平均 码 
长 应 控制 在 较 低 的 水 平等 。 

其 他 的 输入 系统 主要 包括 手写 和 语音 识别 。 这 两 种 输入 方式 都 在 一 定 程度 上 受制 于 输 
入 者 的 特性 : 每 个 人 的 笔迹 、 口 音 都 会 不 同 。 并 且 识 别 速度 一 般 要 明显 低 于 键盘 输入 ， 而 
且 识 别 率 也 很 难 做 到 100%, 对 错误 的 书写 习惯 和 读音 习惯 更 是 无 法 兼容 。 但 它们 的 优点 在 
于 ， 基 本 上 没有 任何 需要 学 习 、 记 忆 的 规则 ， 有 着 良好 的 易 用 性 。 针 对 这 类 输入 系统 的 国 
家 标准 目前 也 正在 制定 过 程 中 。 

3. 中 文字 型 标准 

中 文 信息 从 软件 系统 中 输出 的 途径 主要 有 3 种 : 文件 、 屏 幕 、 打 印 ( 绘 图) 设备 。 除 
了 输出 到 文件 以 外 ， 输 出 到 屏幕 和 打印 (绘图 ) 设备 时 都 要 用 到 中 文 文字 符号 的 图 形 。 这 
些 图 形 符 号 是 中 华 民族 千 百 年 来 积淀 下 的 瑰宝 ， 有 着 独特 的 字 型 、 字 体 、 结 构 、 笔 画 、 部 
件 等 概念 ， 有 非常 严谨 的 体系 。 而 近年 来 在 利用 点 阵 字 型 作为 显示 和 打印 字 型 的 设备 中 ， 
错字 别 字 、 结 构 不 合理 、 字 体 风 格 不 统一 等 问题 非常 严重 ， 在 设备 间 信 息 交 换 过 程 中 造成 
很 多 混乱 。 为 此 ， 我 国政 府 有 关 部 门 在 近 20 年 内 投入 了 大 量 的 精力 ， 先 后 颁布 了 50 余 项 
字 型 标准 ， 在 规范 市 场 、 引 导 技术 、 保 护 消费 方面 发 挥 了 巨大 的 作用 。 

我 国 目前 已 颁布 的 字 型 标准 包括 了 汉 、 蒙 、 维 、 藏 等 多 种 文字 ， 其 中 以 汉字 字 型 标准 
用 量 最 大 。 汉 字 字 型 标准 主要 包括 点 阵 字 型 标准 和 轮廓 字 型 标准 ， 它 们 各 有 自己 的 特点 和 
不 同 的 适用 范围 。 但 是 这 些 标准 仍然 不 能 完全 满足 人 们 日 常 工 作 的 要 求 。 例 如 : 户籍 、 金 
融 、 地 理 、 档 案 、 考 古 、 文 献 等 领域 的 用 字 量 就 远 远 得 不 到 满足 。 国 家 将 根据 国家 标准 GB 
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18030 和 国际 标准 ISO/IEC 10646-2 制定 相应 的 字 型 标准 来 解决 这 些 问题 。 

我 国 的 中 文 信息 技术 标准 由 “全 国信 息 技术 标准 化 技术 委员 会 ”( 简 称 全 国信 标 委 ) 组 
织 制 定 。 由 于 点 阵 字 型 标准 的 特性 ， 点 阵 字 型 标准 本 身 就 是 点 阵 汉 字 字 型 数据 ， 所 有 字 型 
标准 都 要 由 全 国信 标 委 统一 管理 、 维 护 和 授权 转让 。 任 何 信息 技术 产品 开发 商 在 使 用 汉字 
字 型 数据 时 均 应 与 全 国信 标 委 联系 办 理 汉字 字 型 数据 的 合法 使 用 手续 。 作 为 国家 信息 技术 
领域 的 标准 化 技术 机 构 ， 全 国信 标 委 会 为 社会 提供 最 权威 、 最 直接 的 技术 信息 。 

此 外 ， 我 国 虽然 没有 制定 曲线 字 型 的 标准 ， 用 户 也 应 该 选用 通过 有 关机 构 测试 的 厂商 
开发 的 字 型 产品 。 这 些 产 品 信 息 可 以 通过 全 国信 标 委 或 信息 处 理 产品 标准 符合 性 检测 中 心 
取得 。 
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6.3.1 关键 技术 


信息 处 理 标准 中 对 大 量 的 功能 特性 进行 了 明确 规定 ， 例 如 应 用 程序 接口 的 相关 标准 中 
对 每 个 接口 都 有 明确 的 功能 定义 ， 同 时 每 个 功能 可 能 会 存在 多 种 不 同 的 特征 及 相应 的 返回 
结果 。 因 此 在 开展 信息 技术 标准 符合 性 测试 前 ， 必 须 解 决 标准 符合 性 的 判定 原则 和 判定 方 
法 ， 而 经 常 采用 的 断言 测试 就 是 标准 符合 性 测试 的 重要 方法 之 一 。 
断言 就 是 对 标准 规定 的 单个 单元 功能 某 种 实现 的 判定 命题 (或 描述 )， 也 就 是 该 功能 某 
种 实现 的 表示 。 根 据 标准 符合 性 测试 程度 的 要 求 ， 断 言 可 分 为 基本 断言 和 扩展 断言 两 类 。 
此 外 ， 标 准 中 某 个 单元 功能 描述 可 能 存在 必须 特征 和 条 件 特征 的 差别 ， 这 样 ， 断 言 又 分 为 
必须 断言 和 条 件 断 言 两 种 。 必 须 断 言 表示 该 断言 所 对 应 的 某 个 功能 特征 及 性 能 是 标准 规范 
中 规定 为 必须 实现 的 ， 并 且 是 标准 符合 性 测试 中 必须 测试 的 项 目 。 条 件 断 言 表示 该 断言 对 
应 的 某 个 功能 特征 及 性 能 在 一 定 的 条 件 下 才能 实现 ， 并 且 不 是 标准 符合 性 测试 中 必需 测试 
的 项 目 。 因 此 ， 断 言 分 为 下 列 4 种 类 型 

口 ” 必 须 基本 断言 一 一 A 类 断言 ; 
口 ”必须 扩展 断言 一 一 B 类 断言 ; 
口 条 件 基本 断言 一 一 C 类 断言 ; 
口 条 件 扩展 断言 一 一 D 类 断言 。 
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其 中 ，B 类 断言 和 D 类 断言 为 不 可 测 或 可 不 测 断言 。 每 种 断言 所 对 应 的 结果 代码 分 
别 为 : 
A 类 断言 PASS (通过 ) 和 FAIL (未 通过 ); 
B 类 断言 ， PASS (通过 )、FAIL (未 通过 )、UNTESTED (未 测试 ); 
C 类 断言 ， PASS (通过 )、FAIL (未 通过 )、UNSUPPORTED (不 支持 ); 
D 类 断言 PASS (通过 )、FAIL (未 通过 )、UNSUPPORTED (不 支持 )、 UNTESTED 
(未 测试 )。 

一 个 被 测试 的 目标 系统 符合 某 个 标准 的 条 件 是 : 全 部 A 类 断言 的 测试 结果 必须 是 
PASS，C 类 断言 的 测试 结果 可 以 是 PASS 或 UNSUPPORTED (不 测试 B 类 断言 和 D 类 
言 )。 

基于 这 种 原理 ， 断 言 测试 就 是 通过 断言 测试 程序 来 实现 对 断言 的 判断 。 即 依据 每 个 断 
言 编 制 相 应 的 测试 程序 ， 由 该 测试 程序 具体 实现 断言 中 所 规定 的 条 件 对 被 测试 单元 进行 操 
作 ， 并 返回 测试 结果 。 断 言 测试 程序 返回 的 结果 代码 为 : 

PASS: 程序 可 以 明确 判断 测试 通过 ; 

FAIL: 程序 可 以 明确 判断 测试 未 通过 ; 

UNSOLVED: 程序 无 法 明确 判断 测试 是 否 通 过 。 

对 断言 测试 程序 返回 结果 为 UNSOLVED 的 断言 则 需要 人 工 介 入 进行 分 析 ， 最 终 得 出 
PASS、FAIL 或 UNSOPPORTED 结果 。 


6.3.2 ”标准 符合 性 测试 的 工作 过 程 


DOODO DO 


标准 符合 性 测试 的 实施 主要 来 源 于 两 个 方面 : 一 方面 是 企业 内 部 在 开发 软件 过 程 中 
自觉 地 遵守 标准 化 程序 ， 针 对 产品 中 与 标准 相关 的 各 项 指标 进行 测试 ， 以 掌握 和 控制 软件 
产品 的 标准 符合 性 程度 ， 另 一 方面 ， 软 件 产品 设计 开发 完成 后 ， 企 业 根据 需要 可 以 向 专门 
的 标准 符合 性 测试 机 构 提 出 标准 符合 性 测试 的 申请 ， 由 测试 机 构 完成 软件 产品 的 标准 符合 
性 测试 。 同 时 ， 国 家 颁布 的 某 些 标准 是 强制 实施 的 〈 对 应 于 WTO/TBT 中 的 技术 法 规 )， 在 
这 些 标 准 适 用 范围 内 的 产品 必须 经 过 专门 的 标准 符合 性 测试 机 构 测试 合格 后 才能 进入 市 
场 。 企 业 在 进行 标准 化 工作 时 要 特别 注意 这 类 标准 对 自己 产品 的 影响 。 另 外 还 应 注意 ， 选 
择 测试 机 构 时 应 确认 其 进行 标准 符合 性 测试 的 资格 已 得 到 国家 认可 。 正 常情 况 下 ， 得 到 认 
可 的 测试 机 构 应 可 以 出 示 国 家 实验 室 认 可 委员 会 的 认可 证 书 ， 并 在 其 业务 范围 内 包括 了 特 
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定 领域 或 标准 的 符合 性 测试 工作 。 为 了 更 好 地 完成 企业 的 标准 化 任务 ， 上 述 两 个 方面 的 测 
试 都 应 给 予 足够 的 重视 。 

前 面 已 经 讲 到 ， 标 准 的 制定 是 “以 科学 技术 和 经 验 的 综合 成 果 为 基础 ， 以 促进 社会 效 
益 为 目的 ”的 ， 因 此 各 项 标准 中 的 内 容 必 然 是 相关 领域 中 较为 成 熟 、 较 为 适用 和 较为 科学 
的 ， 或 具有 前 瞻 性 ， 或 具有 兼容 性 。 这 些 标准 虽然 在 形式 上 分 为 国家 标准 、 行 业 标准 、 地 
方 标准 、 推 荐 性 标准 等 ， 企 业 可 以 根据 自己 的 情况 选择 是 否 要 采用 ， 但 产品 对 标准 的 符合 
程度 也 必然 反映 该 产品 在 同类 产品 中 的 地 位 。 所 以 在 普遍 情况 下 ， 企 业 在 产品 的 设计 中 首 
先 应 考虑 该 类 产品 相关 标准 的 采用 问题 ， 例 如 编码 的 标准 、 接 口 /API 的 标准 、 图 形 界 面 的 
标准 、 语 言 文字 上 的 规范 、 采 用 的 输入 输出 设备 、 显 示 和 打印 的 字 型 等 。 因 为 很 多 标准 中 
的 规定 涉及 了 软件 产品 底层 的 内 容 ， 如 果 不 是 在 设计 阶段 就 加 以 考虑 ， 将 会 对 后 续 的 标准 
化 工作 带 来 非常 大 的 困难 。 

与 软件 产品 的 测试 历程 相似 ， 标 准 符合 性 测试 也 应 从 设计 阶段 就 开始 着 手 ， 首 先 对 设 
计 思 想 中 有 关 标 准 采用 的 问题 进行 论证 评审 ， 然 后 确定 在 各 个 里 程 碑 上 应 达到 的 目标 ， 并 
在 各 个 里 程 碑 上 对 既定 的 目标 进行 考核 。 除 了 测试 项 来 自 所 采用 的 标准 以 外 ， 测 试 方法 的 
设计 、 实 施 与 其 他 软件 测试 基本 相同 。 值 得 一 提 的 是 ， 有 的 标准 会 明确 给 出 测试 步骤 ， 有 
的 只 是 给 出 大 体 的 方法 ， 有 的 则 没有 提供 测试 方面 的 任何 信息 。 对 于 没有 测试 方面 信息 的 
标准 ， 会 有 以 下 几 种 可 能 : 一 种 是 指标 无 法 测试 ， 例 如 简单 易 用 、 美 观 、 友 好 等 类 似 的 规 
定 ， 这 类 指标 可 以 作为 非 测 试 项 考虑 。 另 一 种 是 指标 的 测试 方法 已 经 很 明确 ， 例 如 要 求 用 
户 文档 中 要 有 产品 标识 、 运 行 环境 的 说 明 等 ， 只 需 检 查 一 下 产品 的 文档 就 可 以 了 。 这 类 指 
标 可 以 按 约定 俗 成 的 方法 进行 测试 。 还 有 一 种 是 可 测试 但 未 指定 测试 方法 的 。 这 类 指标 的 
测试 要 由 企业 内 部 的 人 员 自 行 设计 测试 方法 、 测 试 工具 ， 并 负责 保证 这 些 测试 方法 、 测 试 
工具 的 正确 性 和 有 效 性 。 当 然 ， 企 业 可 以 随时 向 标准 解释 单位 寻求 必要 的 帮助 。 

对 于 企业 来 讲 ， 首 先是 使 管理 层 和 技术 层 的 人 员 都 对 标准 有 足够 的 认识 ， 其 次 是 要 对 
自己 产品 领域 内 的 相关 标准 进行 研究 和 跟踪 ， 并 积极 参加 该 类 标准 的 相关 工作 ， 这 样 在 采 
用 标准 的 过 程 中 就 会 轻车熟路 ， 大 量 节省 成 本 、 降 低 风 险 。 

生产 单位 的 测试 实验 室 的 工作 目的 在 于 : 通过 证 实 产 品 各 项 参数 符合 所 规定 的 标准 来 
协助 生产 活动 。 而 为 了 维持 生产 ， 确 保 公司 提 供 的 产品 和 服务 的 质量 ， 实 验 室 可 能 会 或 多 
或 少 地 改变 某 些 要 求 ， 这 类 实验 室 是 服务 于 本 公司 的 商业 需要 的 。 而 当 需 要 精确 地 证 实 某 
个 产品 是 否 符合 某 项 标准 规定 的 技术 要 求 时 ， 就 必须 由 独立 于 所 有 外 部 的 商业 和 财政 压力 
的 国家 测试 实验 室 来 完成 。 这 样 的 实验 室 ， 其 业务 范围 主要 包括 : 
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提供 认证 计划 运作 过 程 中 必需 的 测试 结果 ; 
通过 评价 产品 为 管理 机 构 的 工作 提供 技术 基础 ; 
通过 国家 标准 和 国际 标准 的 符合 性 测试 ， 参 与 提高 出 口 商品 质量 的 计划 ; 
评价 公共 管理 机 构 购 买 的 产品 ; 
在 健康 、 安 全 和 环境 方面 控制 进口 商品 ; 
从 事 与 产 品 和 测试 方法 的 国家 标准 、 技 术 法 规制 定 工 作 相 关 的 研究 与 调查 任务 
针对 各 个 行业 进行 开发 性 测试 ， 以 确定 本 地 材料 的 适用 性 ; 
如 果实 验 室 包括 校准 机 构 ， 则 该 实验 室 有 助 于 确保 工业 计量 溯源 到 国家 标准 或 国 
际 标准 。 
企业 外 部 的 标准 符合 性 测试 就 是 由 这 样 的 国家 标准 符合 性 测试 机 构 来 完成 的 。 任 何 一 
个 测试 机 构 要 进行 软件 产品 的 标准 符合 性 测试 工作 必须 首先 具备 一 定 的 能 力 和 资格 : 在 其 
业务 范围 内 包括 某 项 或 某 类 标准 的 符合 性 测试 的 能 力 ， 并 就 其 业务 范围 经 过 了 国家 实验 室 
认可 委员 会 的 认可 。 企 业 在 申请 这 些 测 试 机 构 对 自己 的 软件 产品 进行 测试 时 ， 可 以 要 求 测 
试 机 构 出 示 有 关 资 格 与 能 力 的 证 明 ; 经 认可 的 测试 机 构 在 出 具 的 测试 报告 中 可 以 给 出 相应 
的 认可 标志 。 
测试 机 构 根 据 自己 的 业务 能 力 界定 业务 范围 , 随 着 能 力 的 增加 随时 可 以 扩展 业务 范围 ， 
扩展 后 的 业务 能 力 同样 需要 认可 机 构 的 认可 。 测 试 机 构 出 具 的 测试 报告 必须 实事 求 是 、 科 
学 公正 ， 企 业 得 到 报告 后 要 正当 运用 ， 不 得 对 报告 断章取义 。 测 试 机 构 应 用 的 测试 方法 、 
测试 工具 必须 是 标准 中 规定 的 ， 或 行业 公认 的 ， 或 自行 设计 后 经 有 关 专 家 鉴定 合格 的 。 
通常 ， 测 试 机 构 执行 标准 符合 性 测试 工作 的 流程 如 图 6.8 所 示 。 


6.3.3 ”标准 符合 性 测试 的 管理 


DoOOOOOO DO 


标准 符合 性 测试 ， 不 是 任何 一 个 计算 机 软件 测试 机 构 和 个 人 都 能 从 事 这 一 项 工作 的 。 
一 般 地 说 ， 标 准 符合 性 测试 ， 仅 由 国家 《或 军队 ) 认可 的 少数 几 个 测试 机 构 进行 。 国 内 、 
外 都 是 这 样 。 这 就 决定 了 标准 符合 性 测试 ， 一 般 是 由 中 立 的 第 三 方 进行 。 正 因 如 此 ， 这 就 
在 管理 上 带 来 新 的 特点 。 

(1) 标准 符合 性 测试 , 一 般 是 由 甲 方 (委托 方 ) 委托 或 指令 (例如 行政 部 门 ) 乙方 (被 
委托 方 ) 进行 ， 因 此 在 管理 上 分 甲 、 乙 方 两 条 线 。 甲 方 管理 的 主要 着 眼 点 ， 在 于 选择 可 信 
的 、 有 权威 的 测试 机 构 〈 即 乙方 )。 在 乙方 工作 过 程 中 ， 甲 方 的 管理 工作 主要 是 监督 和 抽查 
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(乙方 允许 的 话 ); 在 乙方 工作 完 并 经 确认 后 , 甲 方 管理 的 主要 工作 是 验收 乙方 的 测试 结果 ， 
并 结束 甲 、 乙 方 的 测试 合同 。 


签 定 测试 协议 


实施 测试 


天 形成 测试 报 


生 
告 
通过 


签发 测试 报告 


图 6.8 标准 符合 性 测试 工作 流程 


(2) 标准 符合 性 测试 的 管理 ， 对 乙方 而 言 ， 从 与 甲 方 签订 合同 开始 ， 到 结束 合同 的 全 
过 程 ， 都 贯穿 着 管理 的 一 条 线 。 管 理 的 宗旨 是 对 甲 方 负责 ， 保 证 测试 结果 的 正确 性 。 

Q@ 签订 合同 、 明 确 任务 

甲 方 委托 乙方 进行 标准 符合 性 测试 ， 在 管理 上 首先 要 签订 合同 ， 明 确 双方 的 责任 、 权 
力 和 义务 ， 例 如 : 

甲 方 要 求 测试 的 广度 、 深 度 ; 

甲 方 必须 提供 的 技术 资料 ; 


被 测试 的 软件 版 本 ; 
问题 出 现时 的 处 理 方法 和 原则 ; 
完成 时 限 。 


@ 测试 计划 、 测 试 实施 
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乙方 敢于 承担 标准 符合 性 测试 任务 ， 一 定 有 比较 充分 的 技术 储备 和 现成 的 测试 软件 。 
虽然 如 此 ， 对 待 不 同 的 标准 符合 性 测试 合同 ， 仍 要 在 技术 上 进行 周密 的 研究 ， 根 据 不 同 合 
同 的 不 同 要 求 ， 制 订 测 试 计划 ， 选 择 适 当 的 测试 软件 工具 集 ， 甚 至 要 设计 和 生成 不 同 的 测 
试 输 入 数据 ， 上 述 各 点 ， 都 要 在 严格 的 管理 和 控制 下 ， 不 论 是 测试 环境 及 软件 工具 集 的 配 
置 ， 还 是 测试 中 所 涉及 的 输入 /输出 信息 ， 都 是 管理 的 着 力 之 处 。 

@ 资源 管理 、 环 境 配 置 

标准 符合 性 测试 的 资源 管理 ， 大 致 可 以 包括 以 下 内 容 

口 ”测试 负责 人 员 与 参加 和 人员 的 定岗 与 管理 ， 在 组 织 上 落实 ; 

口 ”被 测 软件 产品 的 版 本 、 资 料 的 管理 。 特 别 要 说 的 一 点 ， 甲 方 始终 要 有 责任 将 自己 
的 产品 向 乙方 的 测试 人 员 进 行 详细 说 明 ; 

口 ”测试 环境 的 配置 管理 。 标 准 符合 性 测试 是 一 项 科学 而 严密 的 工作 ， 要 求 测试 所 得 
出 的 结果 有 代表 性 、 真 实 性 ， 测 试 环 境 必 须 是 规范 的 、 标 准 的 ， 这 一 点 特别 重要 

口 ”测试 专用 经 费 管理 。 

@ 测试 结果 ， 严 格 评审 

在 测试 的 全 过 程 中 ， 往 往 前 一 阶段 的 输出 ， 正 是 下 一 阶段 的 和 输入。 这 个 过 程 ， 循 环 往 
复 ， 直 到 最 终 完成 任务 。 在 这 个 过 程 中 ， 对 重要 的 阶段 性 成 果 及 最 终 成 果 ， 都 要 认真 地 、 
而 不 是 走过场 地 评审 ， 从 各 个 角度 ， 把 握 测试 结果 的 科学 性 、 正 确 性 。 

@ 发 现 问题 ， 慎 重 处 理 

在 标准 符合 测试 中 ， 发 现 了 不 可 预见 的 问题 ， 这 对 管理 者 而 言 ， 可 能 是 最 难处 理 的 
问题 。 

在 测试 中 ， 发 现 了 未 预见 到 的 问题 ， 首 先 要 分 清 是 标准 符合 性 测试 的 测试 集 本 身 出 了 
问题 ， 还 是 测试 数据 出 了 问题 。 或 者 也 包括 测试 环境 本 身 是 否 是 导致 错误 的 根源 在 内 : 其 
次 再 怀疑 被 测 软件 是 否 出 了 问题 ， 如 果 可 以 确定 是 后 者 ， 才 能 出 具 产 品 的 不 合格 报告 。 

@ 给 出 结果 ， 完 成 合 后 

标准 符合 性 测试 ， 最 后 一 个 管理 步骤 是 形成 并 签发 测试 报告 ， 测 试 报告 的 结论 在 一 定 
程度 上 有 法 律 效力 ;测试 报告 的 每 一 句 话 、 每 一 个 数据 、 每 一 个 结论 都 要 能 经 得 起 考验 和 
推 殴 。 

到 此 为 止 ， 乙 方 将 测试 报告 通过 一 定 的 形式 交 给 甲 方 。 甲 、 乙 合同 到 此 结束 。 
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第 7 章 互 操作 性 测试 


标准 的 符合 性 测试 ， 是 依据 标准 或 规范 的 技术 说 明 来 测试 某 产品 实现 该 标准 的 真实 程 
度 。 通 过 标准 符合 性 测试 的 产品 ， 可 以 在 社会 或 市 场 上 提高 产品 的 可 信和 度 ， 并 增加 了 产品 
互 操作 性 测试 通过 的 可 能 性 。 

标准 符合 性 测试 结果 ， 是 给 出 “通过 /失败 ”的 判定 。 只 有 通过 全 部 测试 项 目的 产品 ， 
才能 宣称 是 通过 了 某 标 准 符合 性 测试 的 产品 ;， 否则， 就 不 能 这 样 说 。 标 准 符合 性 测试 结果 
一 般 不 存在 分 级 或 符合 度 的 概念 。 

标准 符合 性 测试 ， 不 像 Benchmark 那样 测试 产品 如 何 “ 好 ”其 主要 目的 是 发 现 被 测 产 
品 中 存在 的 问题 ， 而 不 是 诊断 或 修正 错误 ; 当然 每 次 符合 性 测试 的 失败 之 处 ， 都 会 归结 到 
不 能 正确 的 满足 标准 的 一 条 或 多 条 需求 上 。 

通过 标准 符合 性 测试 的 产品 ， 一 般 不 敢 断 言 其 互 操作 性 一 定好 ; 但 至 少 可 以 说 ， 它 在 
互 操作 性 好 的 道路 上 ， 向 前 走出 了 关键 性 的 一 步 。 如 果 一 个 软件 产品 ， 未 通过 相应 的 标准 
符合 性 测试 ， 它 绝对 不 会 与 通过 标准 符合 性 测试 的 产品 具有 相同 的 性 能 ， 因 而 不 可 能 具有 
好 的 互 操作 性 。 

软件 测试 包含 的 内 容 很 多 ， 测 试 类 型 也 五 花 八 门 ， 其 目的 不 外 乎 是 : 有 的 测试 是 为 了 
保证 软件 产品 质量 ， 有 的 测试 则 是 为 了 保证 软件 产品 的 可 用 性 。 例 如 : 

口 “性 能 测试 : 测试 某 软件 产品 的 性 能 特征 ， 如 在 不 同 条 件 下 的 系统 响应 时 间 、 处 理 的 
事物 量 等 。 
口 ”坚固 性 测试 : 测试 和 确定 在 系统 出 错 的 情况 下 ， 软 件 系统 本 身 的 恢复 能 力 如 何 。 

本 章 的 主要 内 容 ， 就 是 讲述 一 种 特殊 的 软件 性 能 测试 : 软件 的 互 操作 性 测试 。 


7.1 软件 的 互 操作 性 


一 般 的 基于 网 络 的 信息 系统 ， 都 常常 看 到 “ 互 连 、 互 通 、 互 操作 ”的 要 求 。“ 互 连 ”、 
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“互通 ” 较 易 理解 ， 那 么 互 操作 又 是 什么 呢 ? 
7.1.1 互 操作 性 〈interoperability) 


互 操作 性 是 计算 机 网 络 的 特性 ， 它 说 明了 在 组 成 一 个 大 系统 的 各 种 实体 或 成 分 之 间 的 
关系 。 关 系 互 操作 性 目前 有 几 种 不 同 的 描述 方法 。 

(1) 互 操作 性 是 两 个 或 多 个 软件 实体 之 间 ， 忽 略 掉 在 语言 、 接 口 及 运行 平台 之 间 的 差 
异 而 互相 协同 完成 任务 的 能 力 。 

(2) 在 大 型 的 分 布 系统 中 ， 互 操作 性 是 指 系 统 中 的 各 个 实体 之 间 ， 有 交换 服务 和 数据 
的 能 力 。 

(3) 互 操作 性 是 指 一 个 大 系统 内 各 实体 〈 构 件 、 提 供 数据 的 设备 、 信 息 源 、 请 求 和 提 
供 的 服务 ) 之 间 ， 有 互相 变更 角色 以 使 它们 有 效 配 合 协调 运行 的 能 力 。 更 狭义 一 点 说 ， 互 
操作 性 包括 信息 的 技术 交换 和 端 到 端的 有 效 配合 ， 以 保证 在 完成 任务 需要 时 ， 信 息 交 换 和 
处 理 的 成 功 。 

通常 系统 中 两 个 或 多 个 实体 位 于 网 络 的 不 同 节点 之 上 ， 它 们 在 互 操作 过 程 中 ， 发 送 方 
将 操作 的 方法 与 参数 打包 ， 作 为 一 条 消息 进行 发 送 ， 接 收 方 收 到 信息 后 ， 对 信息 的 内 容 进 
行 解释 ， 并 根据 消息 内 的 含义 (操作 方法 )、 参 数 等 执行 相应 的 操作 。 通 常人 们 以 “客户 机 ” 
(client) 来 称呼 消息 发 送 方 , 它 向 消息 的 接收 方 发 出 请 求 (request); 通常 以 服务 器 (server) 
来 称呼 消息 的 接收 方 ， 服 务 器 对 客户 发 出 的 请 求 予以 响应 (response)， 这 就 是 目前 被 广泛 
接收 的 “客户 机 /服务 器 ”(client/server) 结构 。 互 操作 性 是 一 种 高 度 耦 合 的 交互 模式 ， 它 
要 求 系统 中 各 种 实体 可 以 变换 在 “客户 机 /服务 器 ”结构 中 的 地 位 ， 有 对 换 功 能 。 


7.1.2 网 络 应 用 的 3 个 阶段 


近 几 年 来 , 计算 机 网 络 的 应 用 获得 了 飞速 地 发 展 , 尤其 是 Intemet 网 的 应 用 已 深入 到 干 
家 万 户 。 总 体 而 言 ， 网 络 应 用 可 能 要 历经 3 个 阶段 。 

(1) 第 1 阶段 : 信息 传递 阶段 

信息 传递 指 具 有 一 定 结构 的 信息 从 一 个 节点 传输 到 另外 一 个 节点 的 过 程 。 例 如 ， 当 前 
应 用 最 广泛 的 E-mail 就 是 最 突出 的 一 例 。 

信息 传递 在 网 络 中 进行 ， 突 破 了 原来 信息 传递 的 时 - 空 关 系 。 在 信息 传递 过 程 中 ， 在 各 
节点 中 通过 消息 的 发 送 、 消 息 的 接收 等 环节 ， 实 现 了 不 同 实体 间 的 信息 交换 。 
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信息 传递 ， 是 网 络 “ 互 连 、 互 通 ” 的 要 求 ， 它 只 要 正确 地 将 信息 从 一 个 节点 传递 给 另 
外 一 个 节点 即 告 成 功 。 其 不 足 之 处 是 目的 性 不 强 或 者 其 目的 要 靠 接收 信息 的 继续 处 理 者 (如 
人 ) 去 达到 。 

(2) 第 2 阶段 : 互 操作 阶段 

互 操 作 性 是 在 “信息 传递 ”的 基础 上 建立 的 。 信 息 接收 方 不 仅 要 正确 地 接收 信息 ， 还 
要 对 信息 的 内 容 进行 解释 ， 并 根据 信息 的 含义 、 参 数 执行 相应 的 操作 。 

互 操作 的 目标 在 于 实现 操作 请 求 方 发 出 的 功能 调用 ， 并 提供 一 定 的 透明 性 支持 
(transparent utility )， 实 现 不 同 操作 空间 之 间 的 无 颖 连接 (seamless connection ) 。 

(3) 第 3 阶段 : 协同 工作 阶段 

计算 机 网 络 内 各 节点 协同 工作 ， 是 “信息 传递 ^“ 互 操作 性 ”的 直接 发 展 。 协 同 工 作 
的 目标 在 于 完成 由 许多 人 【包括 人 控制 的 各 个 节点 ) 共同 承担 的 大 型 任务 。 使 信息 传递 ， 
经 由 互 操作 ， 直 接 产生 出 一 定 的 效用 。 


7.2 支持 互 操作 的 软件 体系 结构 模型 


目前 正在 运行 的 软件 体系 结构 模型 有 3 个 : CORBA 构件 模型 (CORBAComponent 
Model，CCM)、 企 业 级 Java 构件 模型 (Enterprise JavaBean，EJB) 和 构件 化 对 象 模型 
(Component Object Model, COM), 


7.2.1 CORBA 构件 模型 


对 象 管 理 组 织 OMG(Object Management Group ) 提 出 了 对 象 管 理 体系 结构 OMA(Object 
Management Architecture ) 的 结构 模型 。 该 模型 由 对 象 请 求 代 理 ORB (Object Request 
Broker)、 对 象 服务 (Object Services)、 公 共 设 施 (Common Facilities )、 领 域 接口 (Domain 
Interface) 和 应 用 接口 (Application Interface) 组 成 。ORB 是 OMA 的 核心 ， 也 是 OMA 的 
通信 机 制 。 在 OMG 制订 的 规范 中 ， 目 前 以 CORBA 最 重要 。 

CORBA (Common Object Request Broker Architecture) 是 公共 对 象 请 求 代 理 结 构 ， 其 
核心 部 分 是 对 象 请 求 代理 ORB。 

在 CORBA 中 客户 机 是 向 对 象 发 出 请 求 的 程序 ， 但 并 不 尽 然 ， 客 户 机 是 相对 特定 的 对 
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象 而 言 的 ， 是 一 个 相对 的 概念 。 一 个 对 象 的 实现 节点 也 可 以 是 其 他 对 象 的 客户 机 。 
7.2.2 ”EJB 构件 模型 


EJB 是 SUN 公司 提出 的 构件 模型 。Java 语言 的 出 现 促进 了 分 布 式 对 象 技术 的 发 展 。 引 
入 了 Java 虚拟 机 (JVM)， 实 现 了 软件 对 象 与 具体 型 号 的 机 器 及 操作 系统 的 无 关 性 。 该 模 
型 对 互 操作 性 、 公 共 服 务 等 提供 了 良好 的 支持 环境 。 


7.2.3 ”COM 构件 模型 


COM 是 Microsoft 公司 提出 的 构件 模型 。 它 使 软件 开发 人 员 可 以 利用 COM 的 通信 机 
制 组 装 不 同 开 发 商 提供 的 构件 ; DCOM 是 Microsoft 为 支持 网 络 环境 而 对 COM 进行 扩充 的 
结果 。 它 的 目标 是 为 了 支持 在 不 同 网 络 节点 上 、 由 不 同 编程 语言 实现 的 对 象 之 间 进 行 互 
操作 。 


7.3 ”软件 互 操作 性 测试 
7.3.1 软件 互 操 作 性 测试 


软件 互 操作 性 测试 ， 就 是 测试 或 考查 在 大 型 网 络 系统 内 两 个 或 多 个 节点 之 间 ， 交 换 、 
共享 和 处 理 信息 的 能 力 ;或 者 利用 上 述 信息 的 能 

软件 互 操 作 性 测试 ， 有 时 也 指 测试 和 考查 在 两 个 或 多 个 指定 的 系统 之 间 交 换 各 共享 信 
上 息 的 能 力 ， 测 试 和 考查 每 个 系统 利用 这 些 信息 的 能 

当前 正在 发 展 的 统一 建 模 语言 UML (Unified Modeling Language) 已 被 OMG 采纳 为 
国际 标准 。 基 于 UML 元 模型 的 两 个 或 多 工具 之 间 ， 能 够 交换 的 信息 范围 ， 有 赖 于 它们 对 
信息 的 共同 理解 ， 因 此 它们 之 间 所 有 的 信息 都 应 当 可 以 被 交换 和 理解 。 这 就 为 软件 的 互 操 
作 性 葛 定 了 基础 。 


7.3.2 ”软件 互 操作 性 测试 的 特点 


具有 互 操作 性 的 软件 系统 ， 很 大 部 分 是 以 面向 对 象 的 软件 为 基础 的 ， 因 此 其 测试 工作 
也 具有 新 的 特点 。 


第 7 章 互 操作 性 测试 135 


(1) 面向 对 象 的 开发 技术 是 一 种 新 的 软件 开发 技术 ， 它 从 面向 对 象 分 析 、 面 向 对 象 设 
计 、 面 向 对 象 编程 再 到 面向 对 象 测试 ， 形 成 一 个 完整 的 过 程 。 在 整个 过 程 中 ， 采 用 一 致 的 
基本 概念 〈 对 象 、 类 、 继 承 、 聚 合 、 封 装 、 消 息 传送 、 多 态 等 )， 各 个 阶段 紧密 衔接 。 面 向 
对 象 技 术 的 研究 目的 ， 是 要 解决 软件 复 用 问题 。 用 面向 对 象 技术 开发 的 软件 代码 重用 率 高 ， 
但 可 能 带 来 错误 的 繁衍 问题 ， 因 此 测试 必须 严格 。 
(2) 向 对 象 的 测试 模型 
面向 对 象 的 软件 开发 模型 为 : 面向 对 象 分 析 (OOA)、 面 向 对 象 设计 (OOD)、 面 向 对 
象 编程 (OOP) 3 个 阶段 。 与 此 相对 应 ， 测 试 分 为 : 
@ 面向 对 象 分 析 测 试 (OOA Test); 
@ 面向 对 象 设计 测试 (OOD Test); 
@ 面向 对 象 编程 测试 (OOP Test); 
@ 面向 对 象 单元 测试 (OO Unit Test); 
@ 面向 对 象 集成 测试 (OO Integrate Test); 
@ 面向 对 象 系统 测试 (OO System Test)。 
(3) 系统 工具 的 支持 
扩展 标记 语言 XML (Extensible Markup Language) 是 在 Web 上 表达 结构 化 数据 的 新 格 
XML 的 元 数据 交换 XMI (XML Metadata Interchange)， 是 无 颖 共享 数据 格式 新 标准 。 
XMI 包含 4 个 元 素 : 
口 XMI.header 文档 头 部 ， 表 示 元 数据 模型 ; 
口 XMI.content 表示 文档 正文 ; 
口 XMI.difference 基本 数据 的 增 量 ; 
口 XMIextensions 表示 文档 的 扩展 。 
XMI 增 量 部 分 包括 3 种 元 素 : 
口 XMIdelete 对 基本 数据 的 删除 ; 
口 XMLadd 对 基本 数据 的 添加 ; 
口 XMLreplace 对 基本 数据 的 更 改 。 
以 上 信息 表明 了 对 信息 接收 节点 的 基本 互 操 作 命 令 。 


式 


136 软件 测试 实用 指南 


7.3.3 测试 内 容 


软件 的 互 操作 性 测试 ， 可 以 包括 以 下 内 容 。 

(1) 功能 测试 。 测 试 系 统 所 提供 的 互 操作 功能 是 否 满 足 用 户 的 需求 ; 或 者 测试 其 提供 
的 各 项 功能 是 否 满足 规格 说 明 书 的 要 求 。 或 者 验证 实际 实现 的 功能 是 否 与 设计 要 求 一 致 。 

(2) 性 能 测试 。 测 试 软件 实际 运行 的 性 能 ， 根 据 事先 对 被 测 软件 要 求 的 性 能 指标 ， 
如 信息 传输 的 最 长 时 限 、 传 输 的 误 码 率 、 计 算 和 记录 数据 的 精确 度 、 响 应 时 限 和 错误 恢复 
时 限 等 ， 一 一 进行 实际 测试 ， 并 给 出 切实 可 信 的 测试 数据 。 

(3) 强度 测试 。 测 试 系统 能 力 的 最 大 限度 。 即 软件 在 满 负 荷 、 超 负荷 情况 下 ， 系 统 功 
能 、 性 能 的 实际 情况 。 如 在 信息 超 负荷 输入 的 情况 下 ， 系 统 的 处 理 能 力 等 。 

(4) 安全 性 测试 。 测试 并 验证 系统 提供 的 安全 机 制 能 否 对 系统 自身 、 对 用 户 信 息 起 到 
有 效 的 保护 作用 。 测 试 的 另 一 个 目的 是 寻找 系统 在 安全 机 制 中 存在 的 漏洞 。 

(5) 恢复 性 测试 。 采 用 人 工 的 主动 干扰 ， 或 被 动 干扰 使 软件 出 错 或 中 断 运 行 ， 检 测 此 
时 的 系统 自动 恢复 能 力 。 特 别 是 网 络 通信 系统 ， 更 要 特别 注意 。 

(6) 可 用 性 测试 。 在 具体 应 用 中 , 用 户 是 否 满意 是 测试 的 关键 。 如 用 户 界面 是 否 友 好 ， 
操作 是 否 方便 等 。 

(7) 安装 /卸载 测试 (instaluninstall test)。 

安装 /卸载 测试 的 难 易 程 度 、 所 花费 的 时 间 、 对 媒体 的 依赖 性 都 是 检测 的 内 容 。 


7.4 软件 互 操作 性 的 认证 


软件 互 操 作 性 测试 是 互 操作 性 认证 的 基础 ， 它 为 互 操作 性 认证 提供 测试 结果 的 依据 ， 
并 为 认证 提供 支持 ， 软 件 互 操作 性 一 般 认证 过 程 ， 以 美国 军 方 的 认证 过 程 为 例 说 明 ， 如 图 
7.1 所 示 〈 见 文 后 插页 )。 

整个 过 程 可 以 和 信息 设备 的 采购 或 获取 过 程 同步 进行 ， 信 息 设备 的 获取 一 般 分 为 5 个 
阶段 : 作战 需求 、 系 统 开 发 、 系 统 评估 、 系 统 服 役 、 系 统 维 护 。 互 操作 性 认证 过 程 ， 与 上 
述 5 个 阶段 相对 应 ， 分 别 完成 认证 的 各 阶段 的 任务 。 对 于 非 传 统 的 获取 过 程 ， 主 管 部 门 有 
权 对 图 中 所 示 过 程 进行 简化 。 
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(1) 阅读 任务 需求 说 明和 作战 需求 文档 ， 这 与 获取 过 程 的 作战 需求 阶段 相对 应 。 

(2) 建立 互 操 作 性 需求 矩阵 和 各 种 测试 计划 ， 这 与 获取 过 程 的 系统 开发 阶段 相对 应 。 

(3) 测试 和 认证 ， 这 与 获取 过 程 的 系统 评估 阶段 相对 应 。 该 阶段 为 认证 过 程 的 核心 阶 
段 ， 它 要 完成 兼容 性 、 标 准 符合 性 、 互 操作 性 和 集成 度 的 测试 工作 ， 并 完成 互 操作 性 的 认 
证 和 确认 。 

(4) 产品 服役 决定 ， 这 与 获取 过 程 的 系统 服役 相对 应 。 

(5) 生存 周期 支持 ， 这 与 获取 过 程 的 系统 维护 相对 应 。 在 演习 和 实战 中 ，JITC 不 断 
考核 列 装 系统 ， 决 定 在 当前 状况 下 与 要 求 的 装备 存在 的 差距 〈 这 些 差距 可 能 由 于 C1 系统 
结构 的 变化 ， 标 准 的 进步 ， 作 战 概念 与 过 程 影响 了 互 操作 性 的 要 求 等 ) 。 根 据 此 ， 建 立新 
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1992 年 ， 美 国 国防 部 开始 重视 军用 信息 系统 中 的 互 操作 性 的 问题 ， 着 手 开 展 Ci 系统 
联合 互 操作 性 测试 、 认 证 工作 。 为 此 ， 美 国 国防 部 责令 美国 国防 信息 局 (DISA) 领导 该 项 
工作 ， 为 此 ，DISA 专门 成 立 了 美国 联合 互 操作 性 测试 指挥 部 〈Joint Interoperability Test 
Command，JITC) 。 

JITC 推广 了 信息 管理 和 C4 系统 的 软件 测试 和 软件 测试 工具 开发 方面 的 经 验 ， 它 主持 
并 完成 了 以 下 几 个 系统 的 验收 性 测试 : 

口 全球 运输 网 络 系统 (GTN) ; 

口 仓库 自动 化 管理 系统 (RCAS) ; 
口 全球 指挥 和 控制 系统 (GCCS) ; 
口 国防 信息 系统 (DMS) 。 

JITC 有 较 长 的 软件 开发 的 历史 , 联合 互 操作 评估 系统 (JIES) 就 是 在 它 领导 下 完成 的 。 
该 系统 用 Ada 语言 写成 ， 采 用 X 一 windows 为 其 人 一 机 界面 支持 工具 ， 该 测试 系统 广泛 地 
用 于 各 种 C 和 系统 的 互 操作 性 测试 和 认证 .DMS 和 GCCS 的 测试 系统 , 是 用 SQL 一 SERVER 
面向 对 象 的 程序 设计 (VB 和 VISUAL C++) 来 开发 的 。 最 近 的 软件 开发 工作 ， 还 利用 了 交 
互 数据 库 Web 以 及 ActiveX Data Objects (ADO) 。 
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7.5.1 软件 测试 实践 


在 JITC 支持 下 ， 有 关 单 位 利用 自己 研制 的 软件 互 操作 性 测试 工具 ， 已 经 完成 了 一 些 系 

统 的 互 操作 性 测试 和 认证 工作 ， 有 以 下 各 项 : 

口 美国 全 球 指挥 和 控制 系统 (GCCS) ; 
美国 国防 部 信息 系统 CDMS) ; 
公共 密 钥 基础 设施 (PKI) ; 
C1 系统 中 战术 数字 信息 链 路 CTADIL) ，; 
电子 密 钥 管理 系统 (EKMS) ; 
电子 商务 /电子 政务 (EB/EC) ; 
2000 年 (Y2K) 问题 的 兼容 性 。 


7.5.2 ”测试 支持 软件 


OOODODO DO 


口 


为 了 支持 软件 的 互 操作 性 测试 , 在 JITC 的 主持 下 ， 已 经 开发 了 一 些 软件 互 操作 性 测 
试 工具 集 。 例 如 ， 联 合 互 操作 性 评估 系统 (The Joint Interoperability Evaluation System， 
JIES) ， 利 用 Ada 语言 和 X 一 windows 界面 开发 。 目 前 被 广泛 应 用 于 美国 C4 系统 的 测 
试 和 认证 中 。 
测试 任务 系统 (Test Mission System，TMS ) ,利用 SQL 一 server、O 一 0O 程序 设计 (VB 
和 VISUAL C++) 研制 成 功 的 ， 美 国 已 经 用 它 测 试 了 DMS、GCCS 等 系统 。 关 键 性 的 信息 
系统 ， 美 国 国防 部 都 要 求 经 过 该 系统 的 互 操作 性 测试 和 认证 。 

其 他 测试 支持 软件 还 有 : 

合 运行 的 C3 了 辅助 工具 集 (JOCAT) : 
联合 互 操作 性 软件 模块 评价 系统 (JIMES) ; 
系统 跟踪 程序 (STP》; 

JITC 项 目 管理 系统 (JPAS) ; 
联合 互 操作 性 测试 工具 (JIT) 。 


OOODOO DO 
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7.6 ”小 结 与 建议 


阅读 本 书 的 读者 ， 读 到 此 处 会 不 会 产生 一 个 问题 ， 为 什么 在 《软件 测试 基础 》 这 本 书 
中 加 入 互 操作 测试 这 一 章 ? 在 人 们 的 印象 中 , 软件 测试 本 身 就 距 人 们 所 见 的 信息 社会 较 远 ， 
互 操作 性 测试 岂 不 更 远 ? 

从 互 操作 性 的 发 展 角度 看 ， 它 是 软件 的 一 个 必然 发 展 趋势 ， 网 络 的 “ 互 连 、 互 通 、 互 
操作 ”， 现 在 正 走 在 第 三 个 台阶 “ 互 操作 ”上 。 一些 国 际 标准 对 此 作 了 规定 就 是 证 明 。 例 
如 ISO /IEC 14598: 2001〔 软 件 工 程 产品 评价 ) 和 1ISO/IEC 9126-1: 2001〔 软 件 工程 产品 
质量 ) 就 是 例证 。 

从 互 操作 性 的 研究 角度 看 ， 全 世界 计算 机 软件 界 都 在 对 此 进行 愈 来 愈 深入 的 研究 ， 软 
件 产 品 对 互 操作 性 的 支持 愈 来 愈 强 。 我 国 的 计算 机 软件 界 也 不 例外 。 他 们 从 理论 上 探讨 有 
关 互 操作 性 的 一 系列 理论 、 技 术 和 方法 ， 以 期 挖掘 网 络 的 潜力 ， 达 到 更 高 的 应 用 目标 ， 支 
持 中 国信 息 化 社会 的 建设 。 

从 互 操作 性 的 应 用 角度 看 ,在 信息 技术 比较 领先 的 美国 ,已 经 得 到 了 一 定 程度 的 应 用 。 
首先 是 在 美国 国防 信息 系统 与 军队 作战 指挥 、 武 器 系统 中 应 用 更 多 。 我 国 的 国防 科研 主管 
部 门 ， 希 望 也 能 注意 这 一 势必 到 来 的 发 展 动向 。 

从 互 操作 性 的 测试 角度 看 ， 据 作者 所 知 ， 我 国 还 是 空白 。 美 国 现在 已 有 几 个 国家 认可 
的 互 操作 性 测试 机 构 ， 开 发 了 一 些 互 操 作 性 测试 工具 ， 也 成 功 测试 了 一 批 或 几 批 具 有 互 操 
作 性 的 软件 产品 。 我 国 仅 有 屈指 可 数 的 几 个 专家 研究 此 问题 ， 远 远 没 有 引起 我 国政 府 与 社 
会 的 重视 。 

设立 本 章 的 目的 , 就 是 向 社会 各 界 介绍 互 操作 性 测试 的 理论 、 技 术 及 世界 的 发 展 状况 。 
借 此 向 社会 有 关 各 界 呐 喊 一 声 ， 请 注意 互 操作 性 测试 的 发 展 ! 


系统 评估 


非 传统 的 获取 过 程 (ACTD/COTS ) 


互 操作 性 认证 过 程 


系统 服役 


系统 维护 
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软件 测试 是 一 项 艰苦 的 工作 。 随 着 软件 的 规模 越 来 越 大 、 功 能 越 来 越 复杂 、 质 量 要求 
越 来 越 高 ， 对 软件 测试 的 要 求 也 越 来 越 高 。 为 了 提高 软件 测试 效率 ， 保 证 软件 测试 质量 ， 
提高 软件 测试 的 自动 化 水 平 是 一 个 有 效 的 解决 办 法 。 针 对 不 同 的 测试 对 象 、 不 同 的 测试 方 
法 和 不 同 阶段 的 测试 工作 ， 人 们 开发 出 了 许多 不 同类 型 的 软件 测试 工具 。 这 些 软件 测试 工 
具 的 使 用 ， 可 以 大 大 提高 软件 测试 的 自动 化 水 平 。 尤 其 是 在 软件 日 益 复杂 的 今天 ， 有 些 软 
件 的 测试 工作 离开 了 测试 工具 的 支持 甚至 是 无 法 完成 的 。 

随 着 软件 工程 和 软件 测试 技术 的 发 展 ， 软 件 测试 工具 也 层出不穷 、 种 类 繁多 。 本 章 将 
对 软件 测试 工具 进行 分 类 ， 然 后 针对 每 一 类 测试 工具 给 出 概括 性 的 介绍 。 


8.1 软件 测试 工具 的 分 类 


软件 测试 工具 种 类 繁多 、 功 能 各 异 ， 对 其 分 类 也 有 不 同 的 角度 。 在 此 从 软件 测试 技术 
和 软件 测试 管理 两 方面 出 发 ， 针 对 不 同 的 测试 方法 ， 从 软件 测试 工具 所 具有 的 主要 功能 所 
角度 ， 对 软件 测试 工具 进行 分 类 介绍 。 分 类 的 情况 如 图 8.1 所 示 。 

首先 ， 将 软件 测试 工具 分 成 3 大 类 ， 即 软件 静态 测试 工具 、 软 件 动态 测试 工具 和 软件 
测试 管理 工具 。 其 中 前 两 项 属于 软件 测试 技术 的 范畴 ， 是 按 静 态 测试 和 动态 测试 两 种 主要 
的 测试 方法 进行 分 类 的 。 由 于 动态 测试 是 一 项 过 程 性 工作 ， 需 要 经 过 测试 准备 (包括 测试 
计划 、 测 试 设计 和 测试 开发 )、 测 试 执行 和 测试 评价 等 各 阶段 的 工作 才能 完成 ， 因 此 软件 动 
态 测试 工具 的 主要 功能 一 般 包括 测试 准备 、 测 试 执行 和 测试 评价 3 类 。 而 软件 静态 测试 工 
具 主 要 包含 4 类 功能 ， 即 分 析 理 解 、 质 量度 量 、 规 则 检查 和 特殊 检查 。 
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分 析 理 解 


质量 度量 
静态 分 析 工 具 
规则 检查 


特殊 检查 


软件 测试 工具 i 


动态 测试 工具 测试 执行 
测试 评价 


测试 管理 工具 


图 8.1 软件 测试 工具 分 类 图 
8.2 软件 静态 分 析 工 具 


软件 静态 测试 工具 〈 又 称 软件 静态 分 析 工 具 )， 是 指 在 不 执行 被 测 程序 的 条 件 下 ， 对 被 
测 软件 进行 分 析 的 工具 。 从 广义 上 讲 ， 软 件 静态 分 析 的 对 象 是 软件 ， 既 包括 软件 文档 〈 如 
需求 文档 、 设 计 文 档 等 )， 也 包括 软件 程序 。 从 狭义 上 讲 ， 软 件 静态 分 析 专 指 在 静态 情况 下 
对 程序 代码 的 特性 进行 分 析 。 本 文 主要 介绍 后 者 。 因 为 这 部 分 工具 种 类 丰富 、 实 用 性 强 。 

软件 静态 测试 工具 主要 具有 4 类 功能 : 分 析 理 解 、 质 量度 量 、 规 则 检查 和 特殊 检查 。 
下 面 分 别 加 以 介绍 。 


142 软件 测试 实用 指南 


8.2.1 分 析 理 解 


所 谓 分 析 理 解 功能 ， 也 称 为 逆向 工程 功能 或 再 工程 功能 ， 是 指 通 过 静态 测试 工具 对 被 
测 程序 的 静态 扫描 ， 得 到 被 测 程序 的 调用 关系 图 、 交 叉 引 用 表 、 数 据 流 图 、 控 制 流 图 以 及 
其 他 的 被 测 程序 信息 。 有 具体 可 以 包括 : 

(1) 程序 规模 、 各 类 语句 的 类 型 和 数量 、 变 量 数 、 注 释 率 等 程序 基本 统计 信息 ; 

(2) 所 有 变量 和 常量 的 交叉 引用 表 ， 各 变量 的 定义 和 使 用 情况 ; 

(3) 标号 的 使 用 情况 ， 包 括 标 号 的 定义 和 引用 信息 ; 

(4) 用 户 的 自 定义 类 型 的 统计 ， 包 括 结构 、 联 合 、 枚 举 等 复合 类 

(5) 程序 的 调用 关系 图 ， 包括 每 个 程序 调用 子 程序 和 函数 情况 ， 0 调用 和 被 
调用 的 情况 ， 调 用 的 嵌 套 情况 ， 未 被 调用 的 子 程序 等 

(6) 程序 的 数据 流 图 ; 

(7) 标识 符 在 每 个 语句 中 使 用 的 情况 ， 如 数据 源 点 、 数 据 终 点 、 调 用 参数 、 哑 参数 和 
下 标 等 ; 

(8) 程序 的 控制 流 图 。 


8.2.2 ”质量 度量 


主要 是 指 对 被 测 程序 的 各 种 质量 度量 元 的 测量 , 如 测量 被 测 程序 的 各 种 复杂 度 指 标 ( 如 
McCabe 度量 、Halstead 度量 等 )、 模 块 的 扇 入 度 和 扇 出 度 、 调 用 层次 深度 、goto 语句 的 使 
用 情况 等 ， 对 超过 标准 规定 的 度量 元 给 出 警告 。 有 些 工具 还 可 以 进一步 利用 这 些 测量 出 的 
质量 度量 元 , 根据 一 定 的 软件 质量 度量 模型 ， 得 出 被 测 程序 的 一 些 质 量 特性 ， 如 可 移植 性 、 
可 维护 性 等 。 

0 软件 质量 特性 、 质 量度 量 元 、 软 件 质 量 的 量化 指标 及 某 些 测量 方 
法 ， 请 参见 3.6 节 ， 及 国家 标准 GB/T 16260 一 1996 等 。 


8.2.3 ”规则 检查 


编程 时 ， 只 有 满足 所 用 编程 语言 的 语法 和 语义 定义 时 , 程序 才能 通过 编译 系统 的 编译 
最 后 形成 可 执行 代码 。 但 为 了 提高 编码 质量 ， 提 高 程序 的 可 靠 性 ， 一 些 行业 和 一 些 企业 又 
各 自制 定 了 一 些 更 加 严格 的 编码 标准 和 规范 。 尤 其 对 一 些 可 靠 性 和 安全 性 要 求 比较 高 的 软 
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件 ， 在 编程 时 必须 要 遵循 一 些 可 靠 性 和 安全 性 的 编码 规范 。 将 这 些 编码 标准 和 规范 统称 为 
“编码 规则 ”。 要 检查 软件 开发 人 员 在 编程 时 是 否 遵循 了 这 些 编码 规则 ， 单 靠 一 般 的 语言 
编译 系统 是 不 行 的 ， 因 为 被 测 程序 只 要 满足 了 编程 语言 语法 和 语义 的 规定 ， 即 使 存在 不 符 
合 编码 规则 的 代码 ， 编 译 系统 也 会 编译 通过 ， 而 不 会 报错 。 而 静态 测试 工具 中 的 规则 检查 
功能 就 是 要 检查 被 测 程序 是 否 符合 有 关 的 编码 规则 ， 当 被 测 程序 中 存在 不 符合 编码 准则 的 
代码 时 ， 静 态 测试 工具 就 会 报错 。 规 则 检查 的 内 容 具体 包括 : 

(1) 书写 规则 检查 

书写 规则 检查 的 内 容 ， 包 括 检查 编码 中 是 否 遵循 了 变量 命名 规则 、 是 否 使 用 了 标准 的 
编码 格式 〈 如 适当 的 缩 进 和 表达 式 中 括号 的 使 用 )、 是 否 只 使 用 了 规定 的 语法 成 分 、 是 否 使 
用 了 可 移植 的 语言 子 集 等 。 

(2) 接口 检查 

接口 检查 主要 是 检查 程序 单元 之 间接 口 的 一 致 性 以 及 是 否 遵循 了 预先 确定 的 规则 或 原 
则 。 典 型 的 接口 检查 包括 检查 传送 给 子 程序 的 参数 是 否 有 误 ， 包 括 参数 个 数 有 误 、 类 型 不 
匹配 、 出 入 栈 次 序 有 误 、 输 入 参数 未 经 初始 化 、 输 出 参数 未 赋值 、 输 出 参数 虽 赋值 但 未 使 
用 、 对 输入 和 输出 均 无 用 的 多 余 参数 等 。 

(3) 数据 类 型 检查 

数据 类 型 检查 ， 主 要 是 检查 表达 式 中 的 类 型 运算 是 否 正确 ， 是 否 匹配 等 。 

(4) 数据 流 规则 检查 

数据 流 规则 检查 是 检查 程序 中 的 各 类 变量 发 生 的 异常 现象 (数据 异常 )， 这些 异 常 包括 
被 初始 化 ， 被 赋值 或 被 引用 过 程 中 行为 序列 的 异常 。 主 要 包括 : 

口 ”变量 被 重复 赋值 一 一 可 能 无 害 ， 但 可 疑 。 为 什么 两 次 赋值 中 间 没 被 使 用 过 ? 

口 ” 变 量 被 赋值 马上 被 释放 可 能 是 一 个 错误 。 为 什么 将 一 个 变量 赋值 而 不 使 用 它 ? 

口 ”变量 被 重复 释放 一 一 无 害 但 也 可 能 是 一 个 错误 ， 如 重复 释放 一 块 内 存 。 

口 ”变量 未 被 赋值 就 使 用 一 一 错误 。 当 变量 〈 比 如 一 个 指针 变量 ) 未 被 赋值 时 ， 好 辑 

上 的 意义 不 存在 。 

找 出 这 些 错误 是 很 重要 的 ， 因 为 这 常常 是 常见 错误 的 表现 形式 ， 如 错 拼 标 识 符 、 标 识 
符 混淆 或 是 丢失 了 语句 。 同 时 某 些 错误 如 变量 未 初始 化 就 使 用 , 在 动态 测试 中 很 难 查 出 ( 因 
运行 环境 可 能 满足 变量 正确 初始 化 值 )， 但 一 旦 到 用 户 场地 进行 测试 或 运行 ， 可 能 就 会 由 于 
运行 环境 的 变化 导致 错误 发 生 。 

(5) 控制 流 规则 检查 
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控制 流 规则 检查 是 检查 程序 中 控制 流 结构 的 异常 和 不 合理 之 处 ， 主 要 包括 : 


口 未 使 用 的 语句 标号 ; 
口 未 使 用 的 子 程序 ; 
口 ”从 程序 入 口 进 入 后 无 法 达到 的 语句 ， 即 无 用 代码 ; 
口 ”switch 语句 结构 中 无 default 语句 ; 
口 让 语句 结构 中 无 else 语句 ; 
口 存在 goto 语句 或 前 向 goto 语句 ; 
口 存在 死 循 环 。 
8.2.4 ”特殊 检查 


一 般 来 说 , 由 于 静态 测试 工具 是 在 不 运行 被 测 程序 的 情况 下 对 程序 进行 的 分 析 和 检查 ， 
因此 很 难 发 现 一 些 只 有 在 被 测 程序 运行 时 才 有 可 能 表现 出 来 的 错误 ， 即 运行 时 错误 RTE 
(Run Time Error)。 但 利用 一 些 特殊 的 静态 分 析 技 术 ( 如 抽象 解释 技术 等 )， 就 能 够 利用 静 
态 测试 工具 有 效 地 发 现 某 些 运 行 时 出 现 的 错误 ， 而 这 些 运行 时 出 现 的 错误 ， 有 些 即 使 是 在 
动态 测试 时 也 难于 被 发 现 。 由 于 有 些 运行 时 出 现 的 错误 会 造成 严重 的 后 果 ， 包 括 处 理 器 停 
机 、 数 据 崩 溃 、 安 全 保密 被 破坏 、 未 受 控 的 命令 发 送 给 外 部 设备 等 ， 因 此 静态 测试 工具 中 
这 类 特殊 检查 的 功能 显得 更 有 价值 。 

这 些 特殊 的 检查 功能 包括 : 

在 某 种 执行 路 径 中 会 使 用 未 经 初始 化 的 变量 ; 
多 线程 应 用 中 未 保护 数据 的 访问 冲突 ; 

对 空 指针 和 越界 指针 的 引用 ; 

对 超 界 数组 的 访问 ; 

非法 类 型 转换 (long to short，float to integer); 
非法 的 算数 运算 〈 如 除 零 错 误 ， 负 数 开 方 ); 

整数 和 浮 点 数 的 上 溢出 或 下 溢出 。 

上 面具 是 对 软件 静态 测试 工具 的 功能 进行 了 一 个 大 致 的 分 类 ， 不 同 的 功能 虽然 各 有 特 
点 ， 但 也 不 是 截然 分 割 的 。 目 前 的 商品 化 静态 测试 工具 一 般 都 不 是 仅仅 包含 上 述 某 一 单个 
类 型 的 功能 ， 而 是 包含 了 多 种 类 型 的 功能 。 

静态 测试 工具 是 直接 针对 被 测 软件 的 源 程序 进行 静态 分 析 和 检查 的 ， 因 此 针对 不 同 的 
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编程 语言 (如 C、C++、Ada 等 ) 需要 使 用 相应 的 静态 测试 工具 。 所 以 在 选择 静态 测试 工具 
时 ， 不 仅 要 看 该 工具 所 包含 的 功能 是 否 丰富 、 全 面 ， 还 要 看 该 工具 可 以 支持 的 编程 语言 前 
种 类 是 否 能 满足 测试 任务 的 要 求 。 另 外 ， 静 态 测试 工具 的 开放 性 和 可 扩展 性 ， 也 是 选择 工 
具 时 要 重点 考虑 的 一 个 因素 。 如 果 一 个 静态 测试 工具 可 检查 的 编程 规则 集 可 以 由 用 户 根据 
自身 的 情况 进行 扩充 和 定义 ， 并 且 提 供 了 方便 易 用 、 功 能 强大 的 规则 定义 手段 “如 文本 化 
或 图 形 化 的 规则 描述 语言 等 ), 那么 这 个 静态 测试 工具 就 能 更 好 地 满足 用 户 的 测试 需求 并 具 
有 更 强 的 生命 力 。 


8.2.5 几 个 较为 典型 的 静态 测试 工具 


下 面 简要 介绍 几 个 较为 典型 的 静态 测试 工具 。 
1. QAC 
QAC 是 英国 Programming Research 公司 开发 的 针对 C 语言 的 软件 静态 分 析 工 具 , 通过 
对 C 语言 程序 进行 分 析 找 出 语法 使 用 中 存在 的 问题 ， 例 如 : 危险 的 用 法 、 过 于 复杂 、 不 可 
移植 、 不 易 维 护 或 者 不 符合 本 部 门 要 求 的 编程 规范 等 ， 它 能 够 对 这 些 编译 器 和 其 他 开发 工 
有 具 不 会 察觉 的 隐藏 问题 发 出 警告 。 使 用 QAC 可 以 明显 地 减少 代码 审查 的 时 间 , 还 可 加 深 程 
序 员 对 C 语言 特性 的 理解 。 如 果 在 早期 的 开发 阶段 就 注意 到 程序 所 存在 的 问题 ， 代 码 的 质 
量 可 以 得 到 大 幅度 的 提升 ， 测 试 周期 可 以 缩短 。 
口 分析 C 源 程序 ， 报 告 超过 1100 种 潜在 的 问题 ， 涉 及 C 语言 用 法 、 危 险 结构 、 有 
关 维 护 性 和 移植 性 的 方面 ; 
口 ”可 以 分 析 许 多 编译 器 中 常见 的 C 语 言 的 扩展 结构 和 非 标 准 结构 ; 
口 ”非常 容易 配置 警告 信息 和 报告 ; 
口 可 计算 4 种 业界 接受 的 度量 标准 包括 Cyclomatic Complexity 〈 圈 复杂 度 ) ， 静 态 
路 径 统计 数 和 Myer’s interval 等 ， 并 且 可 以 扩展 成 为 公司 特定 的 度量 标准 ; 
口 “ 依 据 ISO 标准 产生 报告 ; 
口 可 以 扩展 成 为 实施 本 公司 特定 需要 的 分 析 检 查 ; 
口 ” 可 进行 多 种 可 视 化 的 输出 ， 包 括 函 数 结构 图 、 函 数 调用 树 、 外 部 引用 、 文 件 包括 
关系 和 软件 度量 分 析 图 等 ; 
口 “ 突 出 C 和 C++ 语言 之 间 的 移植 性 问题 ; 
口 在线 HTML 帮助 连接 警告 消息 ， 包 括 蔡 代 解决 办 法 ; 
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口 Windows 和 UNIX 平台 提供 易于 使 用 的 GUI， 并 且 可 以 集成 到 常用 开发 环境 (如 
VCH+、Tomado' 等》。 

除了 QAC 外 ，Programming Research 公司 还 针对 C++ 语言 、Fortran 语言 等 提供 了 相应 
的 软件 静态 分 析 工 具 QAC++ 和 QA Fortran 等 。 

2. McCabe 

McCabe IQ 是 美国 McCabe && Association 公司 的 产品 ，McCabe IQ 功能 强大 ， 包 含 
McCabe Test 、McCabe QA 、McCabe Reengineering 等 多 种 功能 组 件 。 美 国 国 防 部 、 美 国 
海军 武器 系统 和 美国 通用 电子 同时 对 McCabe 软件 进行 了 测试 ， 证 明 McCabe 在 软件 的 质 
量度 量 、 预 见 软 件 错误 和 规划 软件 测试 方面 对 软件 人 员 会 有 非常 好 的 帮助 。 

McCabe QA 是 一 个 用 于 软件 质量 度量 的 功能 组 件 。 通 过 它 可 以 计算 被 测 软 件 的 
McCabe 复杂 度 , 并 通过 一 个 易 理 解 的 可 视 环 境 评 估 整 个 软件 的 质量 , 明确 需要 改进 质量 的 
区 域 。 图 形 化 的 显示 使 得 软件 QA 人 员 和 软件 开发 人 员 有 了 交流 的 基础 。McCabe QA 产生 
程序 级 结构 图 (battle maps) 和 单元 级 流程 图 。 程 序 级 结构 图 (battle maps) 中 的 方 盒 代 表 
模块 ， 不 同 颜色 表示 不 同 质量 量度 。 红 色 模 块 大 于 用 户 定义 的 度 极限 ， 绿 色 小 于 度 极 限 ， 
黄色 大 于 基本 度 极限 而 小 于 第 二 度 极限 。 这 些 可 视 显 示 可 以 很 容易 地 帮助 用 户 发 现 问题 。 
用 户 还 可 以 利用 McCabe QA 来 追踪 软件 质量 的 变化 过 程 。 用 户 在 软件 开发 周期 中 抓拍 软件 
的 特殊 点 ， 并 且 把 每 个 抓拍 的 点 储存 起 来 ， 这 些 信 息 用 来 绘 出 在 开发 周期 中 软件 质量 的 变 
化 趋势 。 管 理 者 可 以 观察 和 追踪 软件 质量 的 变化 过 程 ， 监 督 整个 系统 的 复杂 性 和 质量 。 

McCabe Reengineering 是 一 个 软件 再 工程 (逆向 工程 ) 的 功能 组 件 。 它 支持 各 种 软件 
的 再 工程 ， 包 括 对 已 有 软件 系统 的 维护 ， 改 变 软件 特性 或 移植 到 新 的 平台 或 结构 中 。 利 用 
此 软件 可 以 帮助 我 们 识别 代码 中 的 元 余 代码 ， 进 行 软件 维护 和 更 改 时 的 风险 risk) 分析。 

3. PolySpace 

PolySpace C Verifier 是 法 国 PolySpace 开发 的 一 种 比较 有 特色 的 静态 测试 工具 。 它 利用 
一 种 基于 抽象 解释 的 静态 验证 技术 来 静态 地 发 现 被 测 软件 运行 时 的 错误 “run-time error)。 
它 是 一 种 非 侵入 式 的 和 基于 源 程序 代码 的 静态 测试 工具 ， 可 以 无 需 修 改 和 运行 被 测 软件 就 
发 现 和 检查 出 那些 在 未 来 的 运行 中 可 能 出 错 的 代码 。 利 用 PolySpace Verifier 可 以 在 代码 审 
查 和 静态 测试 阶段 确定 被 测 软件 的 运行 错误 ， 并 用 不 同 的 颜色 将 所 有 可 能 导致 运行 错误 的 
软件 代码 标 出 来 。 

PolySpace Verifier 可 以 自动 检查 下 面 的 错误 : 

口 ”企图 读 未 初始 化 的 变量 ; 
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多 线程 应 用 中 未 保护 数据 的 访问 冲突 ; 

对 空 指针 和 越界 指针 的 引用 ; 

对 超 界 数 组 的 访问 ; 

非法 类 型 转换 (long to short，float to integer); 
非法 的 算数 运算 〈 如 除 零 错 误 ， 负 数 开 方 ); 
整数 和 浮 点 数 的 上 溢出 /下 溢出 ; 

不 可 达 代 码 。 


[| 


8.3 软件 动态 测试 工具 


动态 测试 工作 涉及 测试 输入 数据 及 预期 结果 生成 、 测 试 结果 记录 、 测 试 执 行 信息 记录 
(如 覆盖 信息 、 执 行 轨迹 )、 对 照 预 期 结果 检查 测试 实际 输出 结果 ， 以 及 在 上 述 活动 中 产生 
的 大 量 数据 、 记 录 、 文 件 的 管理 和 维护 工作 等 ， 工 作 量 繁重 ， 有 些 操作 通过 手工 完成 是 令 
人 厌烦 的 ， 而 且 很 容易 出 错 ， 甚 至 是 不 可 能 做 到 的 。 因 此 需要 相应 的 动态 测试 工具 来 辅助 
完成 动态 测试 工作 。 原 则 上 ， 支 持 应 用 各 种 动态 测试 技术 进行 软件 测试 工作 的 工具 ， 都 可 
归于 动态 测试 工具 。 

如 8.1 节 所 述 ， 本 文 将 从 软件 动态 测试 工具 所 具有 的 测试 准备 、 测试 执行 和 测试 评价 3 
类 主要 功能 方面 对 软件 动态 测试 工具 进行 一 些 介 绍 。 需 要 注意 的 是 ， 同 软件 静态 测试 工具 
一 样 ， 软 件 动态 测试 工具 一 般 都 不 是 仅仅 包含 上 述 某 一 单个 类 型 的 功能 ， 而 是 包含 了 多 种 
类 型 的 功能 。 而 且 根据 被 测 软件 特点 的 不 同 〈 如 嵌入 式 软件 、GUI 软件 、C/S 应 用 软件 、 
B/S 应 用 软件 等 )， 相 应 软件 动态 测试 工具 中 各 类 功能 的 实现 特点 也 不 相同 。 


8.3.1 测试 准备 


j 试 准备 功能 主要 是 支持 用 户 开展 测试 计划 、 测 试 设计 和 测试 开发 等 阶段 的 工作 。 目 
前 ， 大 部 分 软件 动态 测试 工具 中 的 测试 准备 功能 都 是 由 各 类 测试 数据 生成 器 和 测试 脚本 解 
释 器 配合 实现 的 。 

测试 数据 生成 器 ， 是 指 在 程序 或 模块 测试 中 辅助 生成 测试 数据 的 工具 。 应 用 测试 数据 
生成 器 ， 除 了 能 减轻 生成 大 量 测试 数据 的 人 工 劳动 量 ， 还 能 避免 测试 人 员 在 构造 测试 数据 
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时 的 片面 性 。 测 试用 例 包含 两 个 方面 ， 即 测试 数据 和 预期 结果 ， 测 试 数据 生成 器 仅仅 生成 
测试 数据 ， 预 期 结果 通常 借助 人 工 确认 、 人 工 计算 、 仿 真 或 相 类 似 应 用 的 结果 获得 ， 大 量 
的 预期 结果 可 以 从 各 类 软件 规格 说 明 中 经 过 分 析 获 得 。 

使 用 测试 数据 生成 器 生成 的 测试 数据 ， 一 般 都 是 以 某 种 格式 的 测试 数据 文件 的 形式 存 
放 的 。 把 这 些 带 有 各 类 格式 要 求 的 测试 数据 文件 统称 为 “测试 脚本 文件 ”， 简 称 为 “测试 
脚本 ”。 

如 同 各 类 编程 语言 需要 由 各 类 相应 的 语言 编译 器 处 理 后 才能 生成 可 执行 代码 一 样 ， 各 
类 测试 脚本 也 需要 由 各 类 相应 的 测试 脚本 解释 器 处 理 后 才能 真正 用 于 测试 的 执行 。 

测试 数据 生成 器 、 测 试 脚本 和 测试 脚本 解释 器 之 问 的 关系 如 图 8.2 所 示 。 


人 工 编写 
> R、 测试 脚本 
测试 数据 生成 器 


图 8.2 ”测试 数据 生成 器 、 测 试 脚本 和 测试 脚本 解释 器 之 间 的 关系 


根据 被 测 软 件 的 特点 和 测试 目的 的 不 同 ， 同 时 也 是 随 着 测试 技术 的 不 断 发 展 ， 测 试 数 
据 生 成 技术 也 在 不 断 地 发 展 并 补充 进 新 的 内 容 。 相 应 地 ， 测 试 数据 生成 器 的 种 类 也 日 益 繁 
多 。 本文 只 简单 介绍 几 类 有 代表 性 的 测试 数据 生成 器 , 包括 基于 数据 流 的 测试 数据 生成 器 ， 
基于 控制 流 的 测试 数据 生成 器 ， 基 于 操作 捕获 和 描述 的 测试 数据 生成 器 ， 基 于 模型 的 测试 
数据 生成 器 和 随机 测试 数据 生成 器 。 

(1) 基于 数据 流 的 测试 数据 生成 器 

基于 数据 流 的 测试 数据 生成 器 是 通过 对 被 测 程序 的 数据 流 自 动 进行 分 析 ， 利 用 分 析 结 
果 自 动 生成 测试 数据 。 例 如 有 的 测试 数据 生成 器 通过 对 被 测 程序 数据 流 的 分 析 ， 得 到 被 测 
程序 所 使 用 的 所 有 全 局 量 和 传递 的 参数 等 信息 ， 将 这 些 信息 进行 组 织 ， 自 动 生 成 软件 单元 
测试 所 需 的 驱动 程序 (driver) 框架 。 更 进一步 地 ， 还 可 以 通过 对 这 些 全 局 变量 、 参 数 等 取 
值 范围 的 分 析 ， 选 择 一 些 典 型 的 取 值 ， 生 成 可 直接 执行 的 多 个 测试 驱动 程序 。 

这 类 测试 数据 生成 器 经 常用 于 软件 单元 测试 和 集成 测试 阶段 ， 用 于 辅助 生成 测试 驱动 
程序 (driver)。 
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(2) 基于 控制 流 的 测试 数据 生成 器 

基于 控制 流 的 测试 数据 生成 器 也 可 以 称 为 路 径 测试 数据 生成 器 ， 它 是 通过 对 被 测 程序 
的 控制 流 自 动 进行 分 析 ， 利 用 分 析 结 果 自 动 生成 测试 数据 。 生 成 的 每 一 组 测试 数据 使 一 组 
指定 的 程序 路 径 得 到 执行 。 基 于 控制 流 的 测试 数据 生成 器 ， 其 主要 工作 分 为 4 步 : 建立 程 
序 有 向 图 、 选 择 路 径 、 符 号 演算 以 及 生成 测试 数据 。 其 中 测试 路 径 的 选择 是 重要 的 一 步 ， 
这 一 过 程 可 以 由 人 工 也 可 以 自动 进行 ， 可 以 是 静态 地 也 可 以 是 动态 地 进行 。 基 本 上 包括 : 

口 “用户 预先 指定 所 有 要 被 分 析 的 路 径 ; 

口 “用户 预先 对 循环 执行 的 最 大 次 数 指明 最 大 路 径 长 度 ; 

口 ” 用 户 以 交互 方式 选择 要 被 分 析 的 路 径 ， 并 通过 执行 逐个 语句 来 执行 这 一 路 径 ; 

口 ” 由 系统 进行 自动 选择 ， 以 满足 测试 覆盖 的 要 求 。 

基于 控制 流 的 测试 数据 生成 器 也 是 常用 于 软件 单元 测试 和 集成 测试 阶段 ， 用 于 辅助 生 
成 测试 驱动 程序 (driver)。 

(3) 基于 操作 捕获 和 描述 的 测试 数据 生成 器 

今天 越 来 越 多 的 应 用 程序 和 图 形 用 户 界面 一 起 工作 。 在 这 些 应 用 程序 的 测试 中 ， 特 别 
是 一 个 错误 在 前 一 次 测试 运行 中 被 发 现 ， 但 是 由 于 测试 人 员 很 难 记 住 以 前 所 有 步 又， 致使 
许多 GUI (图 形 用 户 界面 ) 操作 步骤 不 能 被 重复 ， 这 样 要 检验 出 错误 和 进行 回归 测试 都 很 
困难 。 针 对 这 种 情况 ， 需 要 一 种 能 够 捕获 和 记录 用 户 操作 〈 如 按键 、 鼠 标 活动 等 ) 并 在 代 
码 被 修改 之 后 能 自动 回放 所 记录 操作 的 软件 测试 工具 。 捕 获 /回放 工具 就 是 为 了 解决 上 述 这 
些 问 题 而 开发 的 ， 它 属于 一 种 基于 操作 捕获 和 描述 的 测试 数据 生成 器 。 
捕获 /回放 工具 主要 有 两 类 。 第 一 类 捕获 /回放 工具 能 够 自动 捕获 和 记录 用 户 的 各 种 手动 
操作 并 生成 相应 的 测试 脚本 。 这 种 工具 不 需要 用 户 掌握 脚本 语言 ， 容 易 使 用 ， 但 作为 多 平 
台 应 用 需要 更 多 的 人 工 操作 。 称 这 类 捕获 /回放 工具 为 操作 捕获 型 测试 数据 生成 器 。 第 二 类 
捕获 /回放 工具 允许 用 户 使 用 脚本 语言 去 描述 各 种 针对 GUI 的 操作 。 通 过 这 种 工具 形成 的 各 
类 测试 脚本 一 般 可 以 在 多 平台 上 应 用 ， 但 比 起 第 一 类 工具 需要 额外 的 脚本 语言 编程 。 称 这 
类 捕获 /回放 工具 为 操作 描述 型 测试 数据 生成 器 。 

目前 基于 操作 捕获 和 描述 的 测试 数据 生成 器 还 常用 于 对 C/S 或 B/S 结构 下 应 用 软件 进 
行 测试 〈 尤 其 是 负载 测试 ) 的 测试 工具 中 。 对 这 类 软件 进行 的 负载 测试 是 一 个 将 多 个 客户 
机 《实际 的 或 仿真 的 ) 同时 运行 以 考核 系统 运行 情况 和 测量 响应 时 间 的 过 程 。 因 此 ， 这 类 
测试 工具 一 般 都 提供 一 个 操作 描述 型 的 测试 数据 生成 器 ， 支 持 测试 工程 师 以 测试 脚本 的 形 
式 对 用 户 操 作 进行 描述 ， 从 而 控制 多 个 仿真 客户 机 以 及 每 一 个 用 户 操 作 的 启动 、 停 止 和 精 
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确 的 持续 时 间 等 。 

一 般 来 说 ， 基 于 操作 捕获 和 描述 的 测试 数据 生成 器 并 不 是 被 明显 地 区 分 成 操作 捕获 型 
测试 数据 生成 器 和 操作 描述 型 测试 数据 生成 器 。 实 际 上 ， 很 多 基于 操作 捕获 和 描述 的 测试 
数据 生成 器 是 两 种 类 型 的 融合 ， 即 可 以 通过 操作 捕获 功能 生成 初步 的 测试 数据 ， 也 可 以 利 
用 操作 描述 功能 对 这 些 初 步 的 测试 数据 〈 一 般 都 是 以 某 种 测试 脚本 的 形式 存在 ) 进行 进 一 
步 的 加 工 处 理 ， 以 形成 功能 更 为 强大 、 重 用 性 更 强 、 更 容易 维护 的 测试 用 例 。 

(4) 基于 模型 的 测试 数据 生成 器 
除了 人 工 操 作 外 ， 很 多 嵌入 式 软件 在 测试 时 需要 处 理 很 多 外 部 数据 。 这 些 外 部 数据 是 
由 与 该 嵌入 式 软件 相 联 结 的 其 他 系统 产生 的 ， 它 们 是 一 类 很 重要 的 测试 数据 ， 是 这 类 软件 
测试 用 例 的 重要 组 成 部 分 。 这 些 测 试 数 据 大 都 有 其 具体 的 物理 意义 ， 产 生 的 数据 要 符合 
应 系统 的 工作 机 理 ， 因 此 这 类 测试 数据 一 般 都 要 通过 基于 模型 的 测试 数据 生成 器 来 产生 。 
基于 模型 的 测试 数据 生成 器 种 类 很 多 ， 有 些 是 根据 通用 数学 函数 来 产生 测试 数据 的 ， 
可 以 供 测试 者 选用 。 但 更 多 的 是 根据 实际 被 测 软件 的 情况 来 开发 ， 如 在 测试 导弹 飞行 控制 
软件 时 ， 就 需要 建立 基于 空气 动力 学 模型 的 测试 数据 生成 器 。 

(5) 随机 测试 数据 生成 器 

从 严格 意义 上 说 ， 随 机 测试 数据 生成 器 应 该 是 属于 基于 模型 的 测试 数据 生成 器 中 的 一 
种 。 随 机 测试 数据 生成 器 是 从 程序 的 输入 变量 域 中 选取 随机 点 来 生成 测试 数据 。 如 果 选 择 
的 是 一 种 均匀 分 布 ， 该 方法 等 价 于 黑 盒 测试 。 另 外 一 种 常用 的 随机 测试 数据 生成 的 方法 是 
确定 软件 使 用 概率 分 布 函数 ， 通 过 利用 概率 分 布 函数 随机 产生 测试 数据 。 这 样 每 个 测试 用 
例 代 表 一 个 实际 的 使 用 ， 能 够 反应 用 户 使 用 软件 的 真正 情况 。 这 种 测试 数据 的 生成 方法 在 
软件 可 靠 性 测试 中 经 常 使 用 。 

测试 脚本 解释 器 的 作用 类 似 于 各 类 编程 语言 的 编译 器 。 像 各 类 编程 语言 编译 器 为 软件 
开发 人 员 提 供 了 各 类 编程 语言 一 样 ， 各 类 测试 脚本 解释 器 也 为 测试 工程 师 提供 了 各 类 测试 
脚本 语言 TSL (Test Script Language)， 支 持 测试 工程 师 利 用 各 类 测试 脚本 语言 描述 测试 数 
据 甚至 测试 操作 过 程 。 与 编程 语言 有 多 种 多 样 类 似 ， 测 试 脚本 语言 的 种 类 也 有 许多 ， 可 以 
说 它 是 一 个 笼统 的 概念 。 有 的 测试 脚本 语言 只 是 规定 了 一 种 简单 的 测试 数据 组 织 格式 ， 有 
的 测试 脚本 语言 则 具有 很 强 的 结构 性 〈 如 具有 顺序 、 条 件 、 循 环 等 结构 ) 以 及 很 强 的 描述 
能 力 ( 如 具有 描述 各 类 数据 结构 、 事件 甚至 时 序 的 能 力 等 )。 测 试 脚本 可 以 是 自动 生成 的 (如 
利用 界面 捕获 工具 生成 测试 脚本 )， 也 可 以 是 人 工 编写 的 。 但 不 论 测试 脚本 是 怎样 形成 的 ， 
都 需要 由 相应 的 测试 脚本 解释 器 处 理 后 才能 真正 用 于 测试 的 执行 。 测 试 人 员 可 以 根据 测试 
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任务 的 要 求 ， 综 合 考虑 测试 脚本 语言 的 描述 能 力 、 易 用 性 和 是 否 有 辅助 生成 工具 等 角度 开 
发 或 选用 测试 脚本 语言 (测试 脚本 解释 器 )。 


8.3.2 ”测试 执行 


测试 执行 ， 更 确切 地 说 应 该 是 在 测试 执行 过 程 中 对 被 测 软件 的 运行 情况 进行 监测 和 分 
析 的 功能 。 主 要 包括 控制 流 监测 与 分 析 、 数 据 流 监测 与 分 析 、 人 性 能 监测 与 分 析 等 。 

(1) 控制 流 监 测 与 分 析 

主要 包括 对 程序 结构 的 覆盖 监测 与 分 析 , 以 及 对 程序 中 各 语句 执行 频 度 的 监测 与 分 析 。 
程序 结构 的 履 盖 监测 与 分 析 ， 包 括 语句 、 分 支 、 条 件 、 分 支 /条 件 、 条 件 组 合 等 不 同 级 别 的 
覆盖 。 通 过 对 这 些 程序 结构 的 覆盖 监测 与 分 析 ， 可 以 确定 测试 运行 的 充分 性 ， 评 价 测试 用 
例 的 有 效 性 ， 辅 助 设计 更 好 的 测试 用 例 来 提高 测试 覆盖 率 。 程 序 中 各 语句 执行 频 度 的 监测 
与 分 析 ， 包 括 监测 并 统计 每 条 指令 的 执行 频 度 ， 所 有 条 件 分 支 、 多 出 口 跳 转 、 多 出 口 调用 
到 达 各 分 支 、 出 口 的 执行 频 度 ， 通 过 对 以 上 各 类 语句 执行 频 度 的 分 析 ， 发 现 被 测 程序 执行 
过 程 中 控制 流出 现 的 异常 。 

(2) 数据 流 监 测 与 分 析 

主要 包括 对 变量 的 监测 分 析 和 对 内 存 的 监测 分 析 。 对 变量 的 监测 分 析 ， 包 括 监测 并 记 
录 某 一 变量 的 初始 值 、 最 终 值 、 最 大 值 、 最 小 值 、 平 均值 、 指 定 程 序 段 内 的 单 步 值 等 ， 通 
过 对 以 上 信息 的 监测 分 析 找 出 数据 流 中 可 能 存在 的 异常 。 对 内 存 的 监测 分 析 ， 主 要 是 要 发 
现 被 测 程序 的 下 述 错误 : 

口 未 申请 就 使 用 的 内 存 ; 
使 用 已 释放 的 内 存 ; 
超过 数组 边界 的 读 或 写 操作 ; 
发 现 内存 丢 失 问 题 〈 内 存 悬 挂 /泄漏 ); 
文件 描述 符 丢失 错误 ; 
栈 溢出 和 栈 结构 边界 错误 等 。 

(3) 性 能 监测 与 分 析 

主要 包括 对 程序 执行 时 间 分 布 情况 的 监测 与 分 析 和 对 资源 利用 情况 的 监测 与 分 析 。 其 
中 ， 对 程序 执行 时 间 分 布 情况 的 监测 与 分 析 是 指 获得 并 分 析 整 个 程序 及 每 个 函数 占用 的 实 
际 CPU 时 间 , 以 及 各 函数 运行 的 时 间 与 整个 被 测 程序 运行 时 间 之 比 ; 资源 利用 情况 的 监测 
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与 分 析 是 指 获 得 并 分 析 被 测 程序 运行 过 程 中 硬件 或 系统 软件 相关 的 资源 利用 情况 。 


8.3.3 测试 评价 


测试 评价 主要 包括 测试 结果 解释 和 测试 结果 比较 两 大 功能 。 

在 很 多 测试 任务 中 ， 测 试 结果 很 不 直观 或 很 难 判定 其 正确 性 ， 这 就 需要 对 测试 结果 进 
行进 一 步 的 加 工 和 处 理 ， 即 对 测试 结果 进行 解释 。 常 见 的 测试 结果 解释 功能 包括 用 表格 、 
图 形 、 甚 至 动画 等 ， 对 测试 结果 进行 可 视 化 的 加 工 处 理 ， 或 将 测试 结果 数据 输入 到 某 一 模 
型 进行 正确 性 验证 等 。 

测试 结果 比较 是 一 项 非常 有 效 和 实用 的 功能 ， 尤 其 在 需要 进行 大 量 回 归 测试 的 测试 项 
目 中 是 不 可 缺少 的 。 许 多 测试 结果 比较 器 是 和 前 面 提 到 的 基于 操作 捕获 和 描述 的 测试 数据 
生成 器 捆绑 在 一 起 使 用 的 。 该 比较 器 将 测试 的 实际 输出 结果 与 期 望 输出 结果 进行 比较 ， 并 
记录 比较 结果 。 因 为 捕 提 /回放 工具 能 够 自动 精确 地 找 出 期 望 值 与 实际 结果 之 间 的 不 同 之 
处 ， 可 以 一 个 字符 一 个 字符 、 一 个 图 素 一 个 图 素 地 进行 比较 ， 从 而 大 大 减轻 了 测试 工作 量 。 


8.3.4 几 个 较为 典型 的 动态 测试 工具 


下 面 简要 介绍 几 个 较为 典型 的 动态 测试 工具 。 

1. ASMTester 

ASMTester 是 一 个 支持 汇编 语言 软件 的 单元 测试 工具 。 该 工具 为 软件 开发 和 软件 测试 
人 员 提 供 了 一 个 方便 、 有 效 的 手段 ， 在 不 需要 任何 目标 机 、 硬 件 仿真 器 或 数据 发 生 器 的 前 
提 下 ， 高 效率 、 低 成 本 地 完成 对 8031/51、8086/88、8096/98、TMSC3x、TMSC6x、1750A 
等 汇编 语言 软件 的 单元 测试 工作 。 

该 工具 为 用 户 进行 单元 测试 提供 以 下 功能 : 

(1) 被 测 模块 和 测试 用 例 的 管理 与 维护 

提供 一 整套 由 驱动 模块 、 桩 模块 和 LIO 描述 文件 共同 组 成 的 测试 用 例 的 维护 机 制 。 具 


体 包括 : 
口 ”编辑 测试 用 例 ; 
口 ”配置 测试 用 例 ; 
口 ”维护 测试 用 例 〈 测 试用 例 与 被 测 模块 的 一 致 性 检查 功能 ， 包 括 被 测 模块 状态 的 监 


测 、 显 示 和 处 理 )。 
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(2) 提供 每 个 被 测 单元 (模块 ) 动态 测试 覆盖 率 指标 
口 ”在 每 个 测试 用 例 经 动态 测试 执行 后 ， 统 计 出 该 测试 用 例 执行 后 的 语句 覆盖 率 和 分 
支 覆 盖 率 ; 

口 “多 次 测试 后 ， 对 语句 覆盖 率 和 分 支 覆 盖 率 的 累计 统计 。 

(3) 提供 每 个 被 测 单元 动态 测试 时 的 性 能 指标 

详细 列 出 每 次 动态 测试 过 程 中 ， 被 测 程序 的 执行 过 程 〈 包 括 分 支 的 走向 、 语 句 执行 的 
次 数 、 语 名 占用 的 时 间 、 跳 转 的 方向 以 及 次 数 等 )， 用 户 可 以 通过 这 些 信息 ， 完 全 了 解 程序 
的 执行 过 程 ， 发 现 和 分 析 问 题 。 

(4) 变量 追踪 

对 设 定 要 追踪 的 对 象 〈 包 括 程序 或 数据 内 存 、 片 内 内 存 、 寄 存 器 和 变量 ) 进行 追踪 。 
在 测试 结束 时 ， 给 出 其 在 测试 过 程 中 的 变化 历程 (包括 最 大 值 、 最 小 值 、 均 值 以 及 每 次 数 
据 变化 的 过 程 )。 

(5) 测试 结果 的 自动 比 对 功能 

在 每 次 动态 测试 结束 后 ， 自 动 给 出 当前 所 有 CPU 寄存 器 的 状态 值 。 对 设 定 要 进行 数据 
比 对 的 对 象 ( 包 括 程 序 或 数据 内 存 、 片 内 内 存 、 寄 存 器 以 及 变量 等 )， 在 每 次 动态 测试 结束 
后 ， 自 动 给 出 其 比较 结果 ， 并 自动 写 入 测试 报告 。 

(6) 完善 的 嵌入 式 硬件 环境 模拟 机 制 

提供 一 套 完善 的 嵌入 式 硬件 环境 模拟 机 制 ， 被 测 嵌 入 式 软件 可 以 不 经 任何 修改 ， 即 可 
在 模拟 环境 中 和 运行。 支持 用 户 在 不 需要 任何 目标 机 、 硬 件 仿真 器 或 数据 发 生 器 的 情况 下 ， 
完成 单元 测试 工作 。 

口 “ 完 善 的 IO 描述 机 制 

提供 了 一 整套 简单 、 易 学 的 IO 描述 方法 。 

提供 了 一 整套 有 效 的 IO 数据 生成 方法 〈 如 定时 、 键 盘 和 不 同 波形 信号 产生 方式 )。 

口 “完善 的 中 断 描述 机 制 

提供 一 整套 简单 、 易 学 的 中 断 描述 方法 。 

不 仅 可 以 产生 两 个 定时 中 断 ， 而 且 可 以 在 不 增加 任何 硬件 投入 的 状态 下 ， 通 过 数据 描 
述 产 生 外 部 中 断 和 串口 中 断 。 

(7) 自动 产生 单元 测试 结果 记录 单 并 可 打印 

可 以 自动 生成 Windows Word 格式 的 测试 结果 记录 表 。 

依据 用 户 需求 ， 可 以 对 记录 单 的 内 容 进行 扩充 。 
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依据 用 户 需 求 ， 定 制 满足 用 户 指定 标准 和 规范 的 测试 结果 记录 表 模 板 。 

2. Cantata 

Cantata/Cantata++ 是 英国 IPL 公司 开发 的 一 个 面向 源 代码 的 测试 分 析 工 具 , 可 以 支持 对 
软件 的 静态 分 析 和 动态 测试 。 

在 动态 测试 方面 ， 该 工具 为 测试 的 说 明 、 执 行 、 归 档 、 重 用 和 重复 动态 测试 提供 一 个 
形式 上 的 框架 。 它 具有 以 下 特点 : 

口 可 以 根据 用 户 定义 的 Test Case Definition 自动 生成 测试 脚本 ; 

口 ”自动 生成 桩 模块 模拟 被 测 模 块 的 函数 调用 。 用 户 可 以 传递 参数 给 桩 模块 ， 并 设置 

桩 模块 的 返回 参数 ; 
口 ”通过 对 测试 执行 过 程 的 监视 ， 得 到 测试 覆盖 信息 (包括 语句 、 分 支 、 条 件 、 分 支 / 
条 件 、 条 件 组 合 等 不 同 级 别 的 覆盖 信息 〉 和 程序 执行 时 间 分 布 情况 的 信息 ; 

口 ”Cantata 支持 C 语言 ，Cantata++ 支 持 C++ 语言 。 

3. WinRunner 

WinRunner 是 美国 Mercury Interactive 公司 开发 的 一 种 企业 级 的 功能 测试 工具 , 用 于 检 
测 应 用 程序 是 否 能 够 达到 预期 的 功能 要 求 。 通 过 自动 录制 、 检 测 和 回放 用 户 的 应 用 操作 ， 
WinRunner 能 够 有 效 地 帮助 测试 人 员 对 复杂 的 企业 级 应 用 的 不 同 发 布 版 进行 测试 ， 提 高 测 
试 人 员 的 工作 效率 和 质量 ， 确 保 跨 平台 的 、 复 杂 的 企业 级 应 用 无 故障 发 布 及 长 期 稳定 运行 。 

(1) 创建 测试 脚本 

用 WinRunner 创建 一 个 测试 ， 只 需 单 击 鼠 标 和 键盘 ， 完 成 一 个 标准 的 业务 操作 流程 ， 
WinRunner 自动 记录 操作 并 生成 所 需 的 测试 脚本 。 这 样 ， 即 使 对 于 计算 机 技术 知识 有 限 的 
业务 用 户 来 说 ， 也 能 轻松 创建 完整 的 测试 。 还 可 以 直接 修改 测试 脚本 以 满足 各 种 复杂 测试 
的 需求 。WinRunner 提供 这 两 种 测试 脚本 的 创建 方式 ， 满 足 测试 团队 中 业务 用 户 和 专业 技 
术 人 员 的 不 同 需 求 。 

(2) 插入 检查 点 

在 记录 一 个 测试 的 过 程 中 ， 可 以 插入 检查 点 ， 检 查 在 某 个 时 刻 /状态 下 ， 应 用 程序 是 否 
运行 正常 。 在 插入 检查 点 后 ，WinRunner 会 收集 一 套数 据 指标 ， 在 测试 运行 时 对 其 一 一 验 
证 。WinRunner 提供 几 种 不 同类 型 的 检查 点 ， 包 括 文本 、GUI、 位 图 和 数据 库 。 例 如 ， 用 
一 个 位 图 检查 点 ， 可 以 检查 公司 的 图 标 是 否 出 现 于 指定 位 置 。 

(3) 检验 数据 

除了 创建 并 运行 测试 外 ，WinRunner 还 能 验证 数据 库 的 数值 ， 从 而 确保 业务 交易 的 准 
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确 性 。 例 如 ， 在 创建 测试 时 ， 可 以 设 定 哪些 数据 库 表 和 记录 需要 检测 ， 在 测试 运行 时 ， 测 
试 程序 就 会 自动 核对 数据 库 内 的 实际 数值 和 预期 的 数值 。WinRunner 自动 显示 检测 结果 ， 
在 有 更 新 /删除 /插入 的 记录 上 突出 显示 以 引起 注意 。 

(4) 增强 测试 

为 了 全 面 彻底 地 测试 一 个 应 用 程序 ， 需 要 使 用 不 同类 型 的 数据 来 测试 。WinRunner 的 
数据 驱动 向 导 〈Data Driver Wizard) 可 以 简单 地 单 击 几 下 鼠标 ， 就 可 以 把 一 个 业务 流程 测 
试 转化 为 数据 驱动 测试 ， 从 而 反映 多 个 用 户 各 自 独 特 而 且 真实 的 行为 。 

以 一 个 订单 输入 的 流程 为 例 ， 希 望 把 订单 号 或 客户 名 称 作为 可 变 栏 ， 用 多 套数 据 进行 
测试 。 使 用 Data Driver Wizard， 可 以 选择 订单 号 或 客户 名 称 用 数据 表格 文件 中 的 那个 栏目 
的 数据 蔡 换 。 也 可 以 把 订单 号 或 客户 名 称 输入 数据 表格 文件 ， 或 从 其 他 表格 和 数据 库 中 导 
入 。 数 据 驱 动 测试 不 仅 节省 了 时 间 和 资源 ， 又 提高 了 应 用 的 测试 覆盖 率 。WinRunner 还 可 
以 通过 Function Generator 增加 测试 的 功能 。 使 用 Function Generator 可 以 从 目录 列表 中 选择 
一 个 功能 增加 到 测试 中 。 例 如 ， 可 以 选择 “calendar” 然 后 从 日 历 功能 的 下 属 目 录 中 选择 ， 
如 Calendar select date(0)， 然 后 可 以 直观 地 输入 参数 ， 把 这 个 功能 插入 到 测试 中 。 

针对 相当 数量 的 企业 应 用 里 的 非 标准 对 象 ，WinRunner 提供 了 Virtual Object Wizard 来 
识别 以 前 未 知 的 对 象 。 使 用 Virtual Object Wizard 可 以 选择 未 知 对 象 的 类 型 ， 设 定 标识 和 命 
名 。 在 录制 使 用 该 对 象 的 测试 时 ，WinRunner 会 自动 对 应 它 的 名 字 ， 从 而 提高 测试 脚本 的 
可 读 性 和 测试 质量 。 

(5) 运行 测试 

创建 好 测试 脚本 ， 并 插入 检查 点 和 必要 的 添加 功能 后 ， 就 可 以 开始 运行 测试 。 运 行 测 
试 时 ，WinRunner 会 自动 操作 应 用 程序 ， 就 像 一 个 真实 的 用 户 根 据 业 务 流 程 执行 着 每 一 步 
的 操作 。 测 试 运行 过 程 中 ， 如 有 网 络 消息 窗口 出 现 或 其 他 意外 事件 出 现 ，WinRunner 也 会 
根据 预先 的 设 定 排除 这 些 干扰 。 

(6) 分 析 结 果 

测试 运行 结束 后 ， 需 要 分 析 测 试 结果 。WinRunner 通过 交互 式 的 报告 工具 来 提供 详尽 
的 、 易 读 的 报告 。 报 告 中 会 列 出 测试 中 发 现 的 错误 内 容 、 位 置 、 检 查 点 和 其 他 重要 事件 ， 
帮助 对 测试 结果 进行 分 析 。 这 些 测试 结果 还 可 以 通过 Mercury Interactive 的 测试 管理 工具 
TestDirector 来 查阅 。 

(7) 维护 测试 

随 着 时 间 的 推移 ， 开 发 人 员 会 对 应 用 程序 做 进一步 的 修改 ， 并 需要 增加 另外 的 测试 。 
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使 用 WinRunner， 不 必 对 程序 的 每 一 次 改动 都 重新 创建 测试 。WinRunner 可 以 创建 在 整个 
应 用 程序 生命 周期 内 都 可 以 重复 使 用 的 测试 ， 从 而 大 大 地 节省 时 间 和 资源 ， 充 分 利用 测试 
投资 。 

每 次 记录 测试 时 ，WinRunner 会 自动 创建 一 个 GUI Map 文件 以 保存 应 用 对 象 。 这 些 对 
象 分 层次 组 织 ， 既 可 以 总 览 所 有 的 对 象 ， 也 可 以 查询 某 个 对 象 的 详细 信息 。 一 般 而 言 ， 对 
应 用 程序 的 任何 改动 都 会 影响 到 成 百 上 千 个 测试 。 通 过 修改 一 个 GUI Map 文件 而 非 无 数 个 
测试 ，WinRunner 可 以 方便 地 实现 测试 重用 。 

4. LoadRunner 

LoadRunner 是 美国 Mercury Interactive 公司 开发 的 一 种 预测 系统 行为 和 性 能 的 负载 测 
试 工具 。 通 过 以 模拟 上 千 万 用 户 , 实施 并 发 负载 及 实时 性 能 监测 的 方式 来 确认 和 查找 问题 ， 
LoadRunner 能 够 对 整个 企业 网 络 结构 进行 测试 。 通 过 使 用 LoadRunner， 企 业 能 最 大 限度 
地 缩短 测试 时 间 ， 优 化 性 能 和 加 速 应 用 系统 的 发 布 周期 。 

目前 企业 的 网 络 应 用 环境 都 必须 支持 大 量 用 户 ， 网 络 体系 架构 中 含 各 类 应 用 环境 且 由 
不 同 供应 商 提供 软件 和 硬件 产品 。 难 以 预知 的 用 户 负载 和 愈 来 愈 复杂 的 应 用 环境 使 公司 时 
时 担心 会 发 生 用 户 响 应 速度 过 慢 ， 系 统 骨 溃 等 问题 。Mercury Interactive 的 LoadRunner 能 
让 企业 保护 自己 的 收入 来 源 ， 无 需 购置 额外 硬件 而 最 大 限度 地 利用 现 有 的 IT 资源 ， 并 确 
保 终端 用 户 在 应 用 系统 的 各 个 环节 中 对 其 测试 应 用 的 质量 、 可 靠 性 和 可 扩展 性 都 有 客观 准 
确 的 评价 。 

LoadRunner 是 一 种 适用 于 各 种 体系 架构 的 自动 负载 测试 工具 ， 它 能 预测 系统 行为 并 优 
化 系统 性 能 。LoadRunner 的 测试 对 象 是 整个 企业 的 系统 ， 它 通过 模拟 实际 用 户 的 操作 行为 
和 实行 实时 性 能 监测 ， 来 帮助 更 快 地 查找 和 发 现 问题 。 此 外 ，LoadRunner 能 支持 广泛 的 协 
议和 技术 ， 为 特殊 环境 提供 特殊 的 解决 方案 。 

(1) 创建 虚拟 用 户 

使 用 LoadRunner 的 Virtual User Generator 能 很 方便 地 建立 起 系统 负载 。 该 引擎 能 够 生 
成 虚拟 用 户 ， 以 虚拟 用 户 的 方式 模拟 真实 用 户 的 业务 操作 行为 。 它 先 记 录 下 业务 流程 (如 
下 订单 或 机 票 预定 ), 然后 将 其 转化 为 测试 脚本 。 利用 虚拟 用 户 , 可 以 在 Windows, UNIX 或 
Linux 机 器 上 同时 产生 成 千 上 万 个 用 户 访问 。 所 以 LoadRunner 能 极 大 的 减少 负载 测试 所 需 
的 硬件 和 人 力 资源 。 另 外 ，LoadRunner 的 TurboLoad 专利 技术 能 使 它 有 很 高 的 适应 性 。 
TurboLoad 可 以 产生 每 天 几 十 万 名 在 线 用 户 和 数 以 百 万 计 的 点 击 数 的 负载 。 

用 Virtual User Generator 建立 测试 脚本 后 ， 可 以 对 其 进行 参数 化 操作 ， 这 一 操作 能 利 
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用 几 套 不 同 的 实际 发 生 数 据 来 测试 应 用 程序 ， 从 而 反映 出 本 系统 的 负载 能 力 。 以 一 个 订单 
输入 过 程 为 例 ， 参 数 化 操作 可 将 记录 中 的 固定 数据 ， 如 订单 号 和 客户 名 称 ， 由 可 变 值 来 代 
替 。 在 这 些 变量 内 随意 输入 可 能 的 订单 号 和 客户 名 ， 来 匹配 多 个 实际 用 户 的 操作 行为 。 

LoadRunner 通过 它 的 Data Wizard 来 自动 实现 其 测试 数据 的 参数 化 。Data Wizard 直接 
连 于 数据 库 服 务 器 ， 从 中 可 以 获取 所 需 的 数据 〈 如 定单 号 和 用 户 名 ) 并 直接 将 其 输入 到 测 
试 脚本 。 这 样 避免 了 人 工 处 理 数据 的 需要 ， 可 以 节省 大 量 时 间 。 

为 了 进一步 确定 Virtual user 能 够 模拟 真实 用 户 ， 可 利用 LoadRunner 控制 某 些 行为 特 
性 。 例 如 ， 只 需要 单 击 一 下 鼠标 ， 就 能 轻易 控制 交易 的 数量 ， 交 易 频 率 ， 用 户 的 思考 时 间 
和 连接 速度 等 。 

(2) 创建 真实 的 负载 

Virtual users 建立 起 后 ， 需 要 设 定 负 载 方案 、 业 务 流程 组 合 和 虚拟 用 户 数 量 。 用 
LoadRunner 的 Controller， 能 很 快 组 织 起 多 用 户 的 测试 方案 。Controller 的 Rendezvous 功能 
提供 一 个 互动 的 环境 ， 在 其 中 既 能 建立 起 持续 且 循 环 的 负载 ， 又 能 管理 和 驱动 负载 测试 方 
案 。 而 且 ， 还 可 以 利用 它 的 日 程 计划 服务 来 定义 用 户 在 什么 时 候 访 问 系统 以 产生 负载 。 这 
样 ， 就 能 将 测试 过 程 自动 化 。 同 样 还 可 以 用 Controller 来 限定 负载 方案 ,在 这 个 方案 中 所 有 
的 用 户 同时 执行 一 个 动作 ， 如 登录 到 一 个 库存 应 用 程序 ， 来 模拟 峰值 负载 的 情况 。 另 外 ， 
还 能 监测 系统 架构 中 各 个 组 件 的 性 能 ， 包 括 服务 器 、 数 据 库 、 网 络 设备 等 来 帮助 客户 决定 
系统 的 配置 。 

LoadRunner 通过 它 的 AutoLoad 技术 ， 提 供 更 多 的 灵活 性 。 使 用 AutoLoad 可 以 根据 目 
前 的 用 户 人 数 事先 设 定 测试 目标 ， 优 化 测试 流程 。 例 如 ， 目 标 可 以 是 确定 应 用 系统 承受 的 
每 秒 点 击 数 或 每 秒 的 交易 量 。 

(3) 性 能 监测 

LoadRunner 内 含 集成 的 实时 监测 器 ， 在 负载 测试 过 程 中 的 任何 时 候 ， 都 可 以 观察 到 应 
用 系统 的 运行 性 能 。 这 些 性 能 监测 器 实时 显示 交易 性 能 数据 (如 响应 时 间 〉 和 其 他 系统 组 
件 包括 application server、web server、 网 路 设备 和 数据 库 等 的 实时 性 能 。 这 样 ， 就 可 以 在 
测试 过 程 中 从 客户 和 服务 器 两 个 方面 评估 这 些 系统 组 件 的 运行 性 能 , 从 而 更 快 地 发 现 问 题 。 

另外 ， 利 用 LoadRunner 的 ContentCheck TM， 可 以 判断 负载 下 的 应 用 程序 功能 正常 与 
和 否 。ContentCheck 在 Virtual users 运行 时 ， 检 测 应 用 程序 的 网 络 数据 包 内 容 ， 从 中 确定 是 否 
有 错误 内 容 传送 出 去 。 它 的 实时 浏览 器 帮助 您 从 终端 用 户 角度 观察 程序 性 能 状况 。 
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(4) 分 析 结果 与 问题 精确 定位 

一 旦 测试 完毕 后 ，LoadRunner 收集 汇总 所 有 的 测试 数据 ， 并 提供 高 级 的 分 析 和 报告 工 
具 ， 以 便 迅 速 查找 到 性 能 问题 并 追溯 缘由 。 使 用 LoadRunner 的 Web 交易 细节 监测 器 ， 可 
以 了 解 到 将 所 有 的 图 像 、 框 架 和 文本 下 载 到 每 一 网 页 上 所 需 的 时 间 。 例 如 ， 这 个 交易 细节 
分 析 机 制 能 够 分 析 是 否 因为 一 个 大 尺寸 的 图 形 文件 或 是 第 三 方 的 数据 组 件 造 成 应 用 系统 运 
行 速度 减 慢 。 另 外 ，Web 交易 细节 监测 器 分 解 用 于 客户 端 、 网 络 和 服务 器 上 端 到 端的 反应 
时 间 ， 便 于 确认 问题 ， 定 位 查找 真正 出 错 的 组 件 。 例 如 ， 可 以 将 网 络 延 时 进行 分 解 ， 以 判 
断 DNS 解析 时 间 、 连 接 服务 器 或 SSL 认证 所 花费 的 时 间 等 。 通 过 使 用 LoadRunner 的 分 
析 工 具 ， 能 很 快 地 查找 到 出 错 的 位 置 和 原因 并 作出 相应 的 修改 和 调整 。 

(5) 重复 测试 

负载 测试 是 一 个 重复 过 程 。 每 次 处 理 完 一 个 出 错 情况 ， 都 需要 对 您 的 应 用 程序 在 相同 
的 方案 下 ， 再 自动 进行 一 次 负载 测试 。 以 此 检验 您 所 做 的 修正 是 否 改善 了 运行 性 能 。 

5. CodeTEST 

CodeTEST 是 美国 AMC 公司 采用 专利 插 桩 技术 开发 出 的 专 为 嵌入 式 软件 开发 与 测试 
人 员 使 用 的 性 能 分 析 与 测试 工具 。 作 为 专 为 嵌入 式 系统 软件 测试 而 设计 的 工具 套件 ， 
CodeTEST 广泛 应 用 于 嵌入 式 软件 的 在 线 动态 测试 CodeTEST 采用 硬件 辅助 软件 的 系统 构 
架 和 源 代码 插 装 技术 ， 用 适配器 或 探 针 ， 直 接连 接 到 被 测试 系统 ， 从 目标 板 总 线 获取 信号 ， 
为 跟踪 嵌入 式 应 用 程序 、 分 析 软 件 性 能 、 统 计 软 件 的 测试 覆盖 率 以 及 监测 内 存 的 动态 分 配 
等 提供 了 一 个 实时 在 线 的 高 效率 解决 方案 。 

CodeTEST 支持 所 有 的 32/16 位 CPU 和 MCU， 支 持 总 线 频 率 高 达 100MHz。 它 可 通过 
PCI/VME/CPCI 总 线 、MICTOR 插头 或 CPU 插座 对 嵌入 式 系 统 进行 在 线 测试 ,无需 改 动用 
户 的 PCB 即 可 与 用 户 系统 进行 连接 。 

CodeTEST 可 同时 监视 整个 应 用 程序 ， 可 以 适应 从 单元 级 、 集 成 级 ， 直 到 系统 级 等 各 
个 阶段 的 应 用 。 从 而 避免 了 在 选择 程序 的 哪 部 分 来 观测 以 及 如 何 配置 相应 工具 来 对 各 部 分 
进行 测试 时 带 来 的 困难 .即便 是 在 程序 超出 高 速 缓存 (Cache ) 或 被 动态 再 分 配 时 , CodeTEST 
仍 能 生成 可 靠 的 跟踪 和 测试 结果 。 

在 进入 连续 运行 模式 时 ，CodeTEST 能 够 同时 测试 出 软件 的 性 能 、 代 码 覆 盖 以 及 存储 
器 动态 分 配 的 情况 ， 捕 获 函数 的 每 一 次 运行 ， 无 论 是 在 检测 一 个 局 部 的 软件 模块 还 是 整个 
软件 系统 测试 ， 工 程 师 只 须 将 CodeTEST 的 测试 探头 (probe) 与 目标 系统 恰当 地 连接 ， 预 
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处 理 待 测 的 源 程序 ， 启 动 CodeTEST， 然 后 运行 测试 处 理 软件 。 测 试 结果 在 测试 进行 过 程 
中 或 在 测试 结束 后 均 可 随时 翻阅 。 

CodeTEST-ACT (CodeTEST Advanced Coverage Tools)， 软 件 测试 符合 美国 FAA、 
DOD178B、FAE 等 一 些 工业 标准 的 要 求 。 

CodeTEST 是 一 个 可 共享 的 网 络 工具 。 与 纯 软 件 测试 产品 相 比较 ， 它 的 插 装 代码 对 系 
统 影响 很 小 ， 最 大 程度 地 做 到 了 与 系统 的 无 关 性 。 它 的 这 种 方式 十 分 适合 于 实时 嵌入 式 软 
件 的 测试 。 它 可 以 解决 一 些 纯 软 件 测试 工具 不 能 解决 的 问题 。 

CodeTEST 家 族 提 供 了 6 大 独立 的 软件 模块 : CodeTEST 性 能 分 析 、CodeTEST 内 存 分 
析 、CodeTEST 代码 跟踪 、CodeTEST 语句 覆盖 、CodeTEST 决策 覆盖 、CodeTEST 可 变 条 
件 决策 覆盖 。 这 些 模 块 可 以 自由 地 选择 以 满足 特定 的 要 求 。 

(1) 性 能 分 析 

口 ”计算 和 统计 函数 和 任务 的 执行 时 间 ; 

口 ”可 以 同时 非 采样 性 跟踪 32 000 个 函数 、1 000 个 任务 。 

(2) 履 盖 率 分 析 

口 “显示 程序 覆盖 率 、 函 数 履 盖 率 、 源 代码 级 履 盖 率 、 基 本 块 履 盖 率 、 语 句 履 盖 率 、 

决策 覆盖 率 、 多 条 件 决 策 履 盖 率 ; 

口 ” 随 时间 绘制 覆盖 率 图 表 。 

(3) 内 存 分 配 分 析 

口 “在 系统 崩溃 之 前 动态 显示 内 存 泄漏 的 情况 ; 


口 ” 查 出 内 存 分 配方 面 的 错误 ， 

口 ”判断 真正 的 最 坏 情 况 的 内 存 分 配 ; 

口 ”存储 器 分 配 分 析 ， 提 供 存储 器 分 配 分 析 功 能 ， 能 够 快速 发 现存 储 器 分 配 时 隐 含 及 
运行 中 可 能 出 现 的 问题 。 


(4) 跟踪 分 析 

口 “在 源 代 码 、 控 制 流 、 函 数 级 、 任 务 级 等 层次 跟踪 嵌入 式 程序 的 执行 过 程 ; 
口 ”可 以 捕获 超过 150 万 行 源 代码 的 运行 轨迹 ; 

口 ”可 以 利用 各 类 触发 器 来 启动 跟踪 分 析 过 程 。 

6. Testbed 
Testbed 是 英国 LDRA 公司 的 产品 ， 其 动态 测试 功能 通过 Tbrun 模块 实现 。Tbrun 具有 
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自动 生成 测试 脚本 与 打桩 处 理 的 功能 ， 测 试 脚本 编译 后 与 被 测 软件 连接 在 一 起 ， 从 而 产生 
一 可 执行 程序 运行 于 目标 系统 或 主机 系统 ， 并 产生 测试 结果 文件 。 


(1) 代码 覆盖 率 (Code Coverage) 
通过 对 被 测 软件 进行 自动 源 程 序 插 装 (Source Code Instrumentation)，LDRA Testbed 可 


报告 被 测 软件 在 测试 执行 时 代码 履 盖 情况 ， 从 而 可 快速 识别 遗漏 的 测试 数据 。 


当 通 过 使 用 测试 数据 查 出 软件 错误 时 ，LDRA Testbed 将 通过 图 形 化 显示 、HTML 或 


ASCII 文本 方式 精确 地 表明 代码 执行 区 域 。 这 一 功能 可 以 减少 用 于 纠正 软件 错误 〈Fixing 
Software Error) 与 重 测 试 (Re-testing) 的 时 间 。 


LDRA Testbed 可 提供 如 下 代码 履 盖 率 指标 : 

语句 覆盖 (Statement); 

分 支 /判定 履 盖 (Branch/Decision); 

LCSAJ 覆盖 〈Linear Code Sequence and Jump Segments ); 

过 程 /函数 调用 覆盖 〈Procedure/Function Call); 

分 支 条 件 履 盖 (Branch Condition); 

分 支 条 件 组 合 覆 盖 〈Branch Condition Combination ); 

修正 条 件 /判定 覆盖 (Modified Condition/Decision ); 

动态 数据 流 履 盖 (Dynamic Data Flow)。 

通过 LDRA Testbed 对 被 测 软件 进行 代码 覆盖 率 指标 分 析 , 可 制定 出 相应 的 软件 测试 策 


略 以 达到 期 望 的 代码 履 盖 率 要 求 。 这 将 大 大 提高 对 被 测 软件 〈 或 代码 ) 的 信心 。 


(2) 宿主 机 /目标 机 环境 测试 (HostTarget Testing ) 
LDRA Tested 除了 可 以 在 宿主 环境 下 使 用 外 ， 同 时 适用 于 宿主 机 /目标 机 环境 ， 包 括 赚 


入 式 系统 (Embedded System )、Mainframe 系统 和 仿真 系统 Simulator，Emulator) 等 。 


支持 实时 操作 系统 有 VxWorks、pSOS、VRTX、OSE 和 用 户 自行 设计 的 RTOS。 
(3) 回归 测试 (Regression Testing) 
LDRA Testbed 通过 分 析 测 试用 例 所 达到 的 代码 覆盖 率 可 帮助 软件 测试 人 员 提 高 回归 测 


试 效率 ， 优 化 软件 测试 用 例 。 例 如 ， 可 以 通过 识别 出 元 余 的 测试 用 例 ， 从 而 可 以 找到 一 个 
最 小 测试 用 例 集 来 达到 相同 的 代码 履 盖 率 指标 要 求 。 
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8.4 软件 测试 管理 工具 


8.4.1 软件 测试 管理 工具 主要 解决 的 问题 


一 个 软件 测试 项 目的 成 功 ， 不 仅 取决 于 采用 的 测试 技术 ， 更 重要 的 是 取决 于 软件 测试 
人 员 的 技术 水 平和 对 软件 测试 项 目的 管理 水 平 。 对 于 一 个 软件 测试 机 构 来 说 ， 建 立 管理 完 
善 的 软件 测试 过 程 并 使 之 不 断 改 进 是 非常 重要 的 。 在 软件 测试 管理 方面 ， 经 常会 遇 到 以 下 
一 些 问题 : 

(1) 如 何 科 学 合理 地 制定 出 软件 测试 项 目 计 划 , 一 个 软件 测试 项 目 到 底 需要 多 少 软 件 
测试 人 员 ， 需 要 多 长 时 间 ? 

(2) 如 何 对 软件 测试 中 发 现 的 软件 缺陷 进行 有 效 地 管理 , 使 每 个 软件 缺陷 在 其 生命 周 
期 中 都 全 程 受 控 ? 

(3) 如 何 实时 准确 地 监控 软件 测试 项 目的 进程 ?包括 软件 测试 用 例 已 经 执行 的 比率 、 
测试 用 例 的 通过 率 和 失败 率 、 软 件 问 题 的 分 布 、 单 位 时 间 内 软件 缺陷 的 发 现 率 、 软 件 缺 陷 
的 修复 率 等 。 如 何 利用 这 些 测试 过 程 信息 对 软件 测试 项 目 进行 科学 的 量化 管理 ? 

(4) 在 软件 测试 过 程 中 ， 如 何 保证 被 测 软件 的 所 有 功能 和 特性 都 被 测试 用 例 所 履 盖 ， 
没有 测试 遗漏 ， 在 测试 实施 时 是 否 按 测试 的 优先 级 来 执行 测试 ， 使 重要 的 软件 功能 和 特性 
优先 得 到 测试 。 

(5) 如 何 有 效 地 保证 软件 测试 质量 ? 包括 对 测试 过 程 中 的 工作 产品 进行 结构 化 管理 、 
软件 缺陷 的 规范 化 记录 与 状态 追踪 等 。 

(6) 如 何 使 软件 测试 过 程 透明 化 , 减少 软件 测试 对 测试 人 员 个 人 的 依赖 性 ， 即 把 测试 
人 员 的 个 人 能 力 或 测试 人 员 的 流动 对 测试 工作 的 影响 降 到 最 低 。 

(7) 如 何 使 本 测试 机 构 的 测试 过 程 不 断 得 到 完善 和 改进 。 

利用 测试 管理 工具 有 助 于 解决 上 述 问 题 。 


8.4.2 ”软件 测试 管理 工具 的 设计 思 


下 面 介绍 一 个 软件 测试 管理 工具 的 设计 思路 ， 可 能 会 对 大 家 理解 软件 测试 管理 工具 有 
些 启发 。 
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该 测试 管理 工具 可 以 采用 客户 机 /服务 器 的 结构 体系 ， 在 系统 中 使 用 Lotus 
Domino/Notes 数据 库 技 术 。 该 工具 拟定 设计 7 个 数据 库 来 完成 整个 软件 测试 过 程 的 管理 工 
作 ， 它 们 分 别 是 : 评测 项 目 管理 数据 库 、 测 试 需求 数据 库 、 测 试用 例 数 据 库 、 测 试 结 果 数 
据 库 、 缺 陷 跟 踪 数 据 库 、 测 试 过 程 数据 库 和 典型 案例 数据 库 。 这 7 个 数据 库 之 间 的 关系 如 


图 8.3 所 示 。 
评测 项 目 管理 数据 库 


项 靖 注 闸门 或 营 
语 涝 洋 回 油 协 昭 


笛 哨 举 塞 酒 或 营 


项 加 泛 浊 旨 或 营 


典型 案例 数据 库 


测试 过 程 数 据 库 


测试 脚本 文件 


测试 结果 文件 


i 
i 
| 
| 
| 
| 
| 
| 


1 软件 评测 工具 i 
图 8.3 ”数据 库 之 间 相 互 关系 
评测 项 目 管理 数据 库 是 整个 评测 管理 子 系统 的 主 控 部 分 。 它 支持 软件 评测 项 目 经 理 根 
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据 测 试 过 程 数据 库 和 典型 案例 数据 库 提供 的 历史 信息 和 经 验 数 据 ， 科 学 地 制定 软件 测试 项 
目 计划 。 同 时 ， 支 持 测 试 项 目 经 理 利 用 软件 测试 过 程 库 中 收集 的 本 项 目 进展 过 程 中 的 各 类 
动态 信息 ， 对 软件 测试 过 程 进行 科学 量化 的 过 程控 制 与 工作 流程 管理 。 

测试 需求 数据 库 负责 对 软件 测试 分 析 阶 段 产 生出 的 全 部 软件 测试 需求 进行 结构 化 的 分 
层 、 分 类 和 分 级 管理 ， 测 试用 例 数据 库 负责 对 软件 测试 设计 阶段 设计 出 的 全 部 测试 用 例 进 
行 结构 化 的 分 层 、 分 类 和 分 级 管理 ， 测 试 结果 数据 库 (也 可 称 为 测试 执行 数据 库 ) 负责 对 
软件 测试 执行 阶段 各 测试 用 例 的 执行 状态 和 相应 的 测试 结果 进行 管理 ;缺陷 跟踪 数据 库 负 
责 对 软件 测试 执行 过 程 中 发 现 的 软件 缺陷 进行 管理 和 状态 跟踪 。 这 4 个 数据 库 之 间 建 立 了 
一 条 对 应 链 ， 通 过 该 对 应 链 可 以 对 整个 测试 过 程 中 各 阶段 工作 测试 分 析 、 测 试 设计 、 测 
试 执行 和 测试 结果 ) 的 一 致 性 和 完整 性 进行 追踪 和 检查 ， 同 时 通过 该 对 应 链 也 可 以 将 统计 
出 的 有 价值 的 测试 过 程 中 的 动态 信息 存 入 测试 过 程 数据 库 ， 供 进行 评测 项 目 管理 工作 ， 如 
进行 覆盖 分 析 、 影 响 分 析 和 责任 分 析 时 使 用 。 

测试 过 程 数 据 库 除了 用 来 存放 以 上 所 说 的 测试 过 程 动态 信息 外 ， 还 用 来 存放 已 经 结束 
的 各 测试 项 目 统计 数据 。 这 些 测 试 经 验 数据 是 一 个 专业 软件 评测 机 构 最 为 宝贵 的 财富 。 它 
既 可 以 用 来 支持 测试 项 目 经 理 进行 科学 的 项 目 计 划 ， 也 可 以 用 来 支持 整个 测试 过 程 的 不 断 
改进 。 

对 于 发 现 的 软件 缺陷 中 具有 典型 代表 性 的 缺陷 ， 称 之 为 “典型 案例 ”， 可 以 从 缺陷 跟 
踪 数 据 库 中 抽出 ， 经 过 整理 加 工 存 入 典型 案例 数据 库 中 。 通 过 对 典型 案例 数据 库 中 的 典型 
案例 进行 归纳 分 析 ， 得 出 的 结果 既 可 以 指导 本 软件 测试 项 目 以 及 今后 的 软件 测试 项 目 确定 
测试 重点 ， 以 提高 测试 工作 的 有 效 性 ， 又 可 以 形成 软件 设计 和 编程 准则 ， 提 供给 软件 开发 
方 ， 以 预防 类 似 缺 陷 的 重复 发 生 。 

另外 ， 通 过 评测 管理 子 系统 提供 的 API， 用 户 可 以 根据 需要 将 软件 评测 工具 紧密 集成 
到 评测 管理 系统 中 。 用 户 也 可 以 仅 通过 测试 脚本 文件 和 测试 结果 文件 ， 在 文档 集成 的 层次 
上 将 某 软 件 评测 工具 集成 到 评测 管理 系统 中 。 

在 系统 中 ， 数 据 库 和 软件 测试 过 程 之 间 的 关系 如 图 8.4 所 示 。 

这 7 个 数据 库 的 数据 一 般 独立 存放 ， 可 支持 独立 的 数据 复制 、 删 除 和 数据 传送 操作 。 
通过 系统 软件 的 设计 , 可 以 使 各 个 数据 库 之 间 的 数据 建立 关联 , 支持 用 户 跨 数 据 库 的 查询 。 
在 系统 投入 应 用 时 ， 这 7 个 数据 库 全 部 放置 在 系统 服务 器 上 ， 用 户 可 以 通过 系统 中 任何 一 
台 客 户 机 使 用 合法 的 身份 访问 各 个 数据 库 。 由 于 数据 库 的 集中 统一 管理 ， 便 于 数据 的 实时 
更 新 和 数据 一 致 性 的 管理 。 系 统 添加 用 户 身份 鉴别 技术 ， 对 用 户 权 限 进行 细 粒 度 的 划分 
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提高 系统 的 安全 性 。 


测试 用 例 
数据 库 


测试 结果 


数据 库 


图 8.4 软件 测试 过 程 与 数据 库 之 问 的 关系 


下 面 对 几 个 数据 库 进 行 一 下 简单 的 介绍 。 

1. 评测 项 目 管理 数据 库 

所 有 测试 活动 的 起 点 都 是 从 项 目 确立 开始 的 ， 对 测试 的 管理 也 可 以 分 解 到 对 单个 测试 
项 目的 管理 上 。 本 数据 库 可 以 对 多 个 软件 评测 项 目 进行 管理 ， 它 主要 包括 两 方面 的 功能 : 

第 一 方面 ， 支 持 软件 测试 项 目 计 划 的 制定 与 管理 。 作 为 整个 测试 活动 的 起 始点 ， 为 系 
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统 提 供 测 试 项 目 信 息 、 测 试 工具 信息 和 测试 人 员 信 息 的 管理 ， 同 时 对 软件 测试 项 目 计 划 进 
行 管理 。 

第 二 方面 ， 支 持 对 软件 测试 项 目的 测试 过 程 进行 动态 管理 。 测 试 活动 从 立项 开始 到 测 
试 结 束 ， 如 何 对 测试 过 程 的 每 一 步 进行 有 效 的 安排 和 控制 ， 是 测试 项 目 经 理 最 关心 的 问题 ， 
本 数据 库 提供 工作 流程 控制 的 功能 ， 便 于 领导 者 安排 、 协 调 工作 及 人 员 ， 保 证 测试 的 进度 
和 质量 。 

同时 本 数据 库 还 提供 整个 软件 评测 系统 的 系统 主页 ， 引 导 用 户 使 用 该 工具 。 

数据 库 的 功能 为 : 
口 ”包含 系统 主页 ， 连 接 系统 所 有 数据 库 功 能 ， 并 能 建立 与 软件 测试 工具 的 连接 ， 通 
过 主页 启动 测试 工具 ; 

口 “管理 测试 项 目 信息 。 记 录 项 目 基 本 信息 以 及 项 目 所 选择 的 软件 测试 标准 、 规 范 、 
项 目 状态 、 目 标 和 范围 ; 

口 管理 测试 工具 信息 。 记 录 测 试 工具 名 称 ， 测 试 工具 存放 位 置 ， 工 具 适 用 范围 ， 工 
具 的 使 用 安排 情况 ; 

口 “管理 测试 人 员 信息 。 记 录 测 试 人 员 的 姓名 、 特 长 、 经 历 等 信息 ， 以 及 测试 人 员 的 

工作 安排 情况 ; 

口 管理 测试 项 目 计 划 ; 

口 ”管理 测试 项 目的 进展 状态 ， 便 于 项 目 管理 者 实时 掌握 测试 工作 的 进度 ， 对 项 目 实 

施 动态 、 科 学 的 管理 ; 
口 ” 对 用 户 进 行 权 限 控制 ， 不 同 身份 的 用 户 在 系统 中 可 使 用 的 功能 也 不 同 。 按 分 工 不 
同 用 户 可 分 为 几 个 级 别 ， 确 保 在 测试 工程 中 各 司 其 职 ; 
口 ” 对 各 类 数据 进行 有 效 管理 ， 支 持 用 户 方便 地 进行 增 、 删 、 改 、 查 询 、 统 计 等 操作 
口 ”数据 增添 安全 控制 ， 可 以 防止 非法 用 户 修改 、 复 制 。 
2. 测试 需求 数据 库 
测试 需求 的 确定 是 整个 测试 活动 正确 运行 的 基本 保障 ， 本 数据 库 提 供 测 试 需求 管理 工 
上 其 。 用 户 通过 测试 需求 分 析 ， 录 入 测试 需求 后 ， 系 统 对 需求 进行 分 层 和 分 类 管理 ， 当 用 户 
确定 了 各 测试 需求 的 优先 级 后 ， 还 可 以 对 需求 进行 分 级 管理 。 同 时 根据 用 户 测试 活动 的 情 
况 ， 反 映 测 试 需求 的 状态 ， 并 与 测试 用 例 数据 库 建立 关联 ， 便 于 用 户 检查 和 验证 测试 需求 
的 覆盖 情况 。 从 而 为 用 户 评估 软件 测试 的 充分 性 提供 依据 。 
数据 库 的 功能 为 : 


| 
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测试 需求 进行 分 层 、 分 类 和 分 级 管理 ; 
管理 测试 需求 的 状态 ; 

建立 与 测试 用 例 的 跟踪 和 对 应 关系 ; 

支持 用 户 方便 地 进行 增 、 删 、 改 、 查 询 、 统 计 等 操作 ; 
用 户 权限 控制 。 对 不 同 身份 用 户 系统 提供 的 功能 也 不 同 。 
测试 用 例 数 据 库 


测试 用 例 的 设计 是 测试 活动 的 关键 环节 ， 它 直接 关系 到 测试 分 支 团 盖 率 、 功 能 禾 盖 率 
等 重要 参数 。 本 数据 库 提供 测试 用 例 管理 工具 ， 用 户 根据 测试 需求 编写 测试 用 例 ， 系 统管 
理 测 试 需求 与 测试 用 例 间 的 关联 关系 ,便于 用 户 查 询 。 同 时 记录 测试 用 例 的 执行 情况 ， 管 
理 测试 用 例 和 测试 结果 间 的 关联 关系 。 
数据 库 的 功能 为 : 
记录 测试 用 例 ， 并 对 测试 用 例 进行 结构 化 管理 ; 
管理 软件 测试 用 例 的 状态 ; 
立 与 测试 需求 的 跟踪 和 对 应 关系 ; 


支持 用 广 


方便 地 进行 增 、 删 、 改 、 查 询 、 统 计 等 操作 ; 


用 户 权 限 控制 。 对 不 同 身份 用 户 系 统 提 供 的 功能 也 不 同 。 
.测试 结果 数据 库 
本 数据 库 主 要 功能 是 记录 各 类 测试 结果 和 测试 报告 ， 并 对 测试 结果 和 测试 报告 进行 分 
类 管理 ， 便 于 用 户 查 询 。 
数据 库 的 功能 为 : 


记录 软 人 


口 
口 
下 | 
口 建立 与 测试 结果 数据 库 的 关联 关系 ; 
口 
口 
4 


测试 的 结果 和 各 种 测试 报告 等 ; 


对 各 类 报告 及 文档 进行 结构 化 的 管理 ; 
支持 用 户 方便 地 进行 增 、 删 、 改 、 对 比 、 查 询 、 统 计 等 操作 ; 


数据 增添 安全 控制 ， 可 以 防止 非法 用 户 修改 、 复 制 ; 

版 本 控制 ， 对 各 种 报告 及 文档 提供 版 本 记录 的 功能 ; 

用 户 权限 控制 。 对 不 同 身份 用 户 系统 提供 的 功能 也 不 同 。 
. 缺陷 跟踪 数据 库 


在 测试 过 程 中 ， 测 试 人 员 会 发 现 软件 缺陷 ， 必 须 对 软件 缺陷 进行 跟踪 ， 直 到 缺陷 处 理 


口 
口 
口 
口 ”对 用 户 进行 权限 控制 ， 按 分 工 不 同 用 户 可 分 为 几 个 级 别 ; 
口 
口 
口 
5 
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完毕 为 止 。 本 数据 库 为 跟踪 缺陷 提供 了 有 效 的 工具 ,测试 人 员 发 现 缺 陷 并 填写 软件 问题 报 
告 单 后 ， 该 工具 将 一 直 自 动 跟踪 缺陷 的 处 理 流程 ， 记 录 缺 陷 的 处 理 状态 。 当 缺陷 得 到 修改 
后 会 自动 返回 给 相关 的 测试 人 员 ， 测 试 人 员 可 对 软件 进行 回归 测试 。 系 统管 理 该 数据 库 与 
测试 用 例 数据 库 间 的 关联 关系 ， 便 于 用 户 查 询 。 当 该 缺陷 被 选 为 典型 案例 进行 记录 时 ， 还 
可 建立 与 典型 案例 数据 库 的 关联 关系 。 

数据 库 的 功能 为 : 
口 ” 记 录 测 试 过 程 中 发 现 的 缺陷 ， 并 对 缺陷 进行 分 类 管理 ; 
口 ”跟踪 软件 缺陷 处 理 的 全 过 程 ， 记 录 缺 陷 的 处 理 状态 ; 
口 ”建立 与 测试 用 例 数 据 库 的 关联 关系 ; 
口 ”建立 与 典型 案例 数据 库 的 关联 关系 ; 
口 
口 
口 
6 


支持 用 户 方便 地 进行 增 、 删 、 改 、 查 询 、 统 计 等 操作 ; 
对 用 户 进 行 权限 控制 ， 按 分 工 不 同 用 户 可 分 为 几 个 级 别 ; 
数据 增添 安全 控制 ， 可 以 防止 非法 用 户 修改 、 复 制 。 
.测试 过 程 数 据 库 
测试 过 程 数 据 库 主 要 是 记录 在 测试 过 程 中 产生 的 数据 ， 如 代码 审查 数据 、 白 盒 测试 数 
据 、 黑 盒 测 试 数据 等 ， 它 也 记录 测试 的 过 程 数 据 和 测试 项 目的 统计 数据 ， 便 于 管理 者 了 解 
测试 过 程 ， 积 累 对 测试 项 目的 管理 经 验 ， 帮 助 管理 者 科学 有 效 地 安排 测试 活动 。 本 数据 库 
记录 各 类 数据 ， 并 对 数据 进行 分 类 统计 ， 便 于 用 户 查 询 。 
数据 库 的 功能 为 : 
口 ” 记 录 软 件 测试 过 程 中 产生 的 过 程 数 据 ， 为 数据 记录 提供 模板 ; 
口 ”对 各 类 历史 的 和 现在 的 测试 过 程 数据 进行 有 效 的 管理 ， 
口 “支持 用 户 方便 地 进行 增 、 删 、 改 、 对 比 、 碍 询 、 统 计 等 操作 ; 
口 “用户 权 限 控制 。 对 不 同 身 份 用 户 系统 提供 的 功能 也 不 同 。 
.典型 案例 数据 库 
典型 案例 是 在 实际 评测 活动 中 积累 的 宝贵 资料 ， 好 的 典型 案例 可 以 指导 新 的 软件 评测 
项 目 确定 评测 重点 ， 指 导 软 件 评测 人 员 有 效 地 开展 评测 工作 ， 提 高 软件 的 评测 质量 。 本 数 
据 库 提供 典型 案例 管理 工具 ， 用 户 对 典型 案例 进行 记录 ， 系 统 自动 对 典型 案例 进行 分 类 管 
理 ， 同 时 与 缺陷 跟踪 数据 库 建 立 关联 ， 便 于 用 户 查 询 。 
数据 库 的 功能 为 : 
口 ”对 典型 案例 进行 记录 并 进行 分 类 管理 ; 
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口 ”建立 与 缺陷 跟踪 数据 库 的 关联 关系 ; 
口 ”支持 用 户 方便 地 进行 增 、 删 、 改 、 查 询 、 统 计 等 操作 ; 
口 “用户 权 限 控制 。 对 不 同 身份 用 户 系统 提供 的 功能 也 不 同 。 


8.4.3 ”一 个 典型 的 软件 测试 管理 工具 : TestDirector 


TestDirector 是 美国 Mercury Interactive 公司 开发 的 一 个 基于 Web 的 软件 测试 管理 工具 
或 称 管理 系统 系统 ， 它 可 以 在 公司 内 部 或 外 部 进行 全 球 范围 内 测试 的 管理 。 通 过 在 一 个 软 
件 测试 管理 工具 中 集成 了 测试 管理 的 各 个 功能 组 件 ， 包 括 需求 管理 、 测 试 计 划 、 测 试 执行 
以 及 错误 跟踪 等 ，TestDirector 对 整个 测试 过 程 提 供 了 有 效 的 管理 支持 。 

TestDirector 能 消除 组 织 机 构 间 、 地 域 间 的 障碍 。 它 能 让 测试 人 员 、 开 发 人 员 或 其 他 的 
IT 人 员 通 过 一 个 中 央 数 据 仓库 ,在 不 同 地 方 就 能 交互 测试 信息 。TestDirector 将 测试 过 程 流 
水 化 ， 从 测试 需求 管理 到 测试 计划 、 测 试 日 程 安排 、 测 试 执行 到 出 错 后 的 错误 跟踪 ， 仅 在 
一 个 基于 浏览 器 的 应 用 中 便 可 完成 ， 而 不 需要 每 个 客户 端 都 安装 一 套 客户 端 程序 。 

程序 的 需求 驱动 整个 测试 过 程 。TestDirector 的 Web 界面 简化 了 这 些 需求 管理 过 程 ， 
以 此 可 以 验证 应 用 软件 的 每 一 个 特性 或 功能 是 否 正常 。 通 过 提供 一 个 比较 直观 的 机 制 将 需 
求 和 测试 用 例 、 测 试 结果 和 报告 的 错误 联系 起 来 ， 从 而 确保 能 达到 最 高 的 测试 禾 盖 率 。 

一 般 有 两 种 方式 可 将 需求 和 测试 联系 起 来 。 其 一 ，TestDirector 捕获 并 跟踪 所 有 首次 发 
生 的 的 应 用 需求 。 可 以 在 这 些 需求 基础 上 生成 一 份 测试 计划 ， 并 将 测试 用 例 对 应 需求 。 例 
如 ,可 有 25 个 测试 用 例 对 应 同一 个 应 用 需求 , 一定 能 方便 地 管理 需求 和 测试 用 例 之 间 可 能 
存在 的 一 种 多 对 多 的 关系 ， 确 保 每 一 个 需求 都 经 过 测试 。 其 二 ， 由 于 被 测 软件 是 随 着 应 用 
需求 的 不 断 更 新 变化 而 变化 的 ， 需 求 管理 允许 软件 开发 或 测试 人 员 加 减 或 修改 需求 ， 并 确 
定 目 前 的 应 用 需求 已 拥有 了 一 定 的 测试 覆盖 率 。 它 可 以 帮助 决定 一 个 应 用 软件 的 哪些 部 分 
需要 测试 ， 哪 些 测试 需要 开发 ， 应 用 软件 是 否 满足 了 用 户 的 要 求 等 。 对 于 被 测 软 件 的 任何 
动态 改变 ， 必 须 审 阅 测试 计划 是 否 准 确 ， 确 保 其 符合 最 当前 的 应 用 要 求 。 

2. 计划 测试 

测试 计划 的 制定 是 测试 过 程 中 至 关 重 要 的 环节 。 它 为 整个 测试 提供 了 一 个 结构 框架 。 
TestDirector 的 Test Plan Manager 在 测试 计划 期 间 ， 为 测试 小 组 提供 一 个 关键 要 点 和 Web 
界面 ， 来 进行 团队 间 的 沟通 。 
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Test Plan Manager 指导 测试 人 员 如 何 将 应 用 需求 转化 为 具体 的 测试 计划 。 这 种 直观 的 
结构 能 帮助 定义 如 何 测试 应 用 软件 ， 从 而 能 组 织 起 明确 的 任务 和 责任 。Test Plan Manager 
提供 了 多 种 方式 来 建立 完整 的 测试 计划 。 可 以 从 草图 上 建立 一 份 计 划 , 或 根据 Requirements 
Manager 所 定义 下 的 应 用 需求 ， 通 过 Test Plan Wizard 快捷 地 生成 一 份 测试 计划 。 如 果 已 经 
将 计划 信息 以 文字 处 理 文件 形式 ， 如 Microsoft Word 方式 储存 ， 可 以 再 利用 这 些 信息 ， 并 
将 它 导入 到 Test Plan Manager 中 。 它 把 各 种 类 型 的 测试 汇总 在 一 个 可 折 对 式 目 录 树 内 ， 可 
以 在 一 个 目录 下 查询 到 所 有 的 测试 用 例 。 例 如 ， 可 以 将 人 工 和 自动 测试 ， 如 功能 的 、 性 能 
的 和 负载 方面 的 测试 方案 结合 在 同一 位 置 。 

3. 测试 计划 管理 

Test Plan Manager 能 进一步 帮助 完善 测试 设计 并 以 文件 形式 描述 每 一 个 测试 步骤 ， 包 
括 每 一 项 测试 中 用 户 操作 的 顺序 、 检 查 点 和 预期 的 结果 等 。 它 还 能 为 每 一 项 测试 增加 附属 
文件 ， 如 Word 、Excel 和 HTML 等 格式 的 文件 ， 用 于 更 详尽 地 描述 测试 计划 。 

当 被 测 软件 的 需求 因为 某 种 原因 变化 时 ， 需 要 相应 地 更 新 测试 计划 ， 再 一 次 优化 测试 
内 容 。 对 于 被 测 软件 需求 的 频繁 更 新 ，TestDirector 能 将 应 用 需求 与 相关 的 测试 对 应 起 来 。 

TestDirector 可 以 支持 不 同 的 测试 方式 , 适应 特殊 的 测试 流程 。 多 数 的 测试 项 目 一 般 需 
要 人 工 测 试 与 自动 测试 相 结合 ， 即 使 有 自动 测试 工具 ,在 大 部 分 情况 下 也 需要 人 工 的 操作 。 
启用 一 个 演变 性 的 自动 化 切换 机 制 , 能 让 测试 人 员 决 定 哪些 重复 的 测试 可 转变 为 自动 脚本 ， 
以 提高 测试 速度 。TestDirector 可 以 简化 从 人 工 测 试 到 自动 测试 脚本 的 转化 过 程 。 

4. 安排 和 执行 测试 

一 旦 测试 计划 建立 后 ，TestDirector 的 测试 实验 室 管理 为 测试 日 程 制 订 一 个 基于 Web 
的 框架 。 它 的 Smart Scheduler 能 根据 测试 计划 中 确立 的 指标 对 执行 着 的 测试 过 程 进行 监控 。 

当 网 络 上 任何 一 台 主 机 空闲 时 ， 测 试 可 以 执行 于 其 上 。Smart Scheduler 还 能 自动 分 辨 
是 系统 还 是 应 用 错误 ， 然 后 将 测试 重新 安排 到 网 络 上 的 其 他 机 器 。 

对 于 不 断 改变 的 被 测 软件 ， 经 常 性 地 执行 测试 对 于 追查 出 错 发 生 的 环节 和 评估 应 用 软 
件 的 质量 都 是 至 关 重 要 的 。 然 而 ， 这些 测试 的 运行 都 要 消耗 测试 资源 和 时 间 。 使 用 Graphic 
Designer 图 表 设 计 ， 可 以 很 快 地 将 测试 进行 分 类 以 满足 不 同 的 测试 目的 ， 如 功能 性 测试 ， 
负载 测试 ， 完 整 性 测试 等 。 它 的 拖 动 功能 可 简化 设计 和 排列 在 多 个 机 器 上 运行 的 测试 ， 最 
终 根 据 设 定好 的 时 间 、 路 径 或 其 他 测试 的 成 功 与 否 ， 为 各 项 测试 制订 执行 日 程 。Smart 
Scheduler 能 在 更 短 的 时 间 内 ， 在 更 少 的 机 器 上 完成 更 多 的 测试 。 

用 WinRunner 或 LoadRunner 来 自动 运行 功能 性 或 负载 测试 , 无 论 成 功 与 否 , 测试 信息 
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都 会 被 自动 汇集 传送 到 TestDirector 的 数据 储存 中 心 。 同 样 ， 人 工 测试 也 可 以 此 方式 运行 。 

5. 缺陷 管理 

当 测 试 完 成 后 ， 测 试 人 员 必 须 解 读 这 些 测试 数据 并 将 这 些 信息 用 于 工作 中 。 当 有 错误 
发 现时 ， 项 目 经 理 还 要 指定 相关 人 员 及 时 纠正 这 些 错误 。 

TestDirector 的 缺陷 管理 直接 贯穿 于 测试 的 全 过 程 ， 从 最 初 的 问题 发 现 到 修改 错误 ， 再 
到 检验 修改 结果 。 由 于 同一 项 目 组 中 的 成 员 经 常 分 布 于 不 同 的 地 方 ，TestDirector 基于 浏览 
器 的 特征 , 使 出 错 管理 能 让 多 个 用 户 , 不 论处 于 何 时 何 地 都 可 通过 Web 查询 出 错 跟踪 情况 。 
利用 出 错 管理 ， 测 试 人 员 只 需 进入 一 个 URL， 就 可 汇报 和 更 新 错误 ， 过 滤 整 理 错误 列表 并 
作 趋势 分 析 。 在 进入 一 个 出 错案 例 前 ， 测 试 人 员 还 可 自动 执行 一 次 错误 数据 库 的 搜寻 ， 确 
定 是 否 已 有 类 似 的 案例 记录 。 这 一 查询 功能 可 避免 重复 劳动 。 

6. 图 形 化 和 报表 输出 

测试 过 程 的 最 后 一 步 是 分 析 测 试 结 果 ， 以 确定 应 用 软件 是 否 已 达到 需求 说 明 中 规定 的 


各 项 要 求 。 
TestDirector 常规 化 的 图 表 和 报告 可 以 在 测试 的 任 一 环节 上 ， 帮 助 对 数据 信息 进行 
分 析 。 


TestDirector 还 以 标准 的 HTML 或 Word 的 形式 ， 提 供 一 种 生成 和 发 送 测试 报告 的 一 
种 方式 。 测试 分 析 数 据 还 可 输入 到 一 种 工业 标准 化 的 报告 工具 (如 Excel) 和 其 他 类 型 的 第 
三 方 工具 中 。 


8.5 ”对 于 软件 测试 工具 的 一 些 认识 


测试 工具 只 能 起 辅助 作用 ， 关 键 因 素 还 在 人 。 列 出 这 一 条 是 为 了 澄清 可 能 存在 的 两 种 
想法 ， 其 一 对 测试 工具 的 期 望 值 过 高 ， 希 望 测试 工具 能 做 差不多 全 部 的 测试 工作 : 设计 用 
例 、 执 行 、 记 录 结 果 、 判 别 结果 直至 生成 测试 分 析 报 告 。 这 种 想法 会 导致 对 测试 工具 依赖 
并 为 测试 不 能 进展 握 塞 。 我 们 也 不 否认 ， 某 些 测 试 没有 工具 是 难以 完成 的 。 不 幸 的 是 ， 由 
于 测试 技术 本 身 的 局 限 以 及 算法 的 复杂 ， 大 多 数 测试 工具 仅 起 到 辅助 作用 ， 整 个 有 效 的 测 
试 设计 中 ， 关 键 环 节 还 得 由 人 来 完成 。 一 部 分 高 级 工具 (技术 先进 ) 在 实用 中 有 局 限 〈 实 
验 室 产品 ), 一 部 分 工具 对 测试 人 员 或 开发 人 员 提出 了 更 高 的 要 求 ( 相 对 目前 的 软件 工程 水 
平 而 言 )， 还 有 一 些 工 具 不 适 于 实时 身 入 式 软件 和 目前 使 用 的 编程 语言 。 困 难 是 多 的 ， 但 有 
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一 点 要 明确 :人 在 软件 研制 中 犯 下 的 错误 ， 只 有 人 才能 真正 运用 智慧 把 它 搜寻 出 来 ， 工 具 


的 作 朋 


日 是 减轻 人 的 工作 强度 ， 改 善 测 试 质量 ， 但 决定 因素 还 是 人 。 另 一 种 想法 是 对 测试 工 


具 狭 罕 的 理解 。 认 为 只 有 标 着 “测试 工具 ”的 软件 才能 用 于 测试 。 广 义 上 来 说 ， 只 要 测试 
过 程 中 可 以 使 用 的 辅助 工具 ， 都 是 测试 工具 ， 如 生成 交叉 索引 的 汇编 器 ， 由 源 程序 生成 流 
程 图 的 逆向 工具 ， 文 件 比较 实用 程序 ， 内 存 读 写 记录 等 。 即 使 是 一 个 测试 工具 也 可 以 充分 
利用 其 输出 的 信息 ， 例 如 履 盖 分 析 器 输出 的 信息 ， 可 指导 错误 的 定位 、 分 析 执 行 时 间 的 耗 
费 分 布 等 。 所 以 应 该 客观 地 看 待 测试 工具 ， 充 分 地 运用 测试 工具 。 

另外 ， 从 目前 软件 测试 工具 的 功能 特点 看 ， 软 件 测试 工具 的 使 用 有 如 下 特点 ， 应 认识 
到 这 些 特 点 ， 正 确认 识 测试 工具 的 作用 和 局 限 。 

口 ”当前 的 软件 测试 工具 以 给 出 程序 运行 信息 为 主 ， 不 能 要 求 软件 测试 工具 直接 报告 


出 被 测 程序 有 多 少 错误 ， 在 什么 地 方 有 错误 ;测试 工具 还 只 是 在 测试 工作 中 起 到 
辅助 作用 ， 主 要 靠 人 。 

在 掌握 基本 测试 方法 的 前 提 下 使 用 软件 测试 工具 。 软 件 测试 工具 是 对 测试 方法 的 
贯彻 及 实现 ， 而 且 不 一 定 是 完整 实现 ， 故 而 在 掌握 基本 测试 方法 基础 上 ， 灵 活 运 
用 ， 恰 当 运 用 测试 工具 是 发 挥 测 试 工具 潜能 的 重要 方法 。 

人 仍 要 做 大 量 的 分 析 处 理工 作 。 无 论 是 为 了 让 测试 工具 能 够 工作 ， 还 是 从 测试 工 
具 的 输出 中 获得 更 多 的 结论 ， 人 都 要 做 大 量 的 分 析 处 理工 作 。 将 测试 用 例 输 入 、 
和 运行， 测试 工具 得 到 程序 覆盖 信息 ， 这 只 是 冰山 的 一 角 。 获 得 测试 用 例 ， 并 由 履 
盖 信 息 进 一 步 指 导 测 试 ， 这 些 工 作 仍 主要 靠 人 来 做 。 

从 多 角度 使 用 工具 给 出 的 信息 ， 也 就 是 要 从 本 质 上 理解 一 些 工具 。 例 如 获得 执行 
履 盖 信 息 不 但 有 助 于 测试 ， 也 有 助 于 调试 ， 断 言 检查 及 时 告知 错误 的 发 生 及 发 生 
的 位 置 ， 这 和 调试 中 使 用 的 复合 条 件 断 点 很 相似 ; 仔细 观察 执行 和 未 执行 的 程序 
信息 ， 过 多 的 循环 或 过 多 的 分 支 都 是 错误 的 征兆 ， 这 样 做 使 工具 在 测试 工作 中 的 
作用 ， 会 比 仅 注意 最 终 的 语句 履 盖 率 和 分 支 获 盖 率 要 大 。 
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人 们 一 提 到 软件 测试 ， 首 先 想到 的 可 能 是 软件 测试 技术 和 软件 测试 工具 ， 而 软件 测试 
过 程 的 管理 问题 常常 被 忽略 。 但 在 实际 工作 中 ， 一 个 软件 测试 项 目 能 和 否 成 功 不 仅 取决 于 选 
用 的 测试 方法 是 否 正确 ， 选 择 的 测试 工具 是 否 恰当 ， 更 重要 的 是 取决 于 对 软件 测试 过 程 是 
否 进行 了 科学 而 有 效 的 管理 。 

之 所 以 要 对 软件 测试 工作 进行 管理 ， 主 要 有 以 下 一 些 原因 

(1) 软件 测试 的 工作 量 要 占 整 个 软件 开发 工作 量 的 40% 以 上 ， 对 于 高 可 靠 、 高 安全 的 
软件 来 说 ， 这 一 比例 可 能 会 达到 60%~70%。 因 此 ， 软 件 测试 是 软件 开发 过 程 中 的 一 项 重要 
工作 ， 必 须 对 其 进行 科学 有 效 的 管理 。 

(2) 一 项 软件 测试 工作 涉及 到 技术 、 计 划 、 质 量 、 工 具 、 人 员 等 各 个 方面 ， 是 一 项 复 
杂 的 工作 ， 因 此 需要 对 其 进行 管理 。 

(3) 任何 软件 测试 工作 都 是 在 一 定 的 约束 条 件 下 (如 有 限 的 时 间 、 有 限 的 资源 等 ) 进 
行 的 ， 要 做 到 完全 彻底 的 测试 是 不 可 能 的 。 而 且 软件 测试 工作 的 完成 一 般 都 是 在 整个 软件 
开发 工作 乃至 整个 系统 开发 工作 的 后 期 ， 此 时 受到 进度 和 交付 日 期 的 压力 最 大 。 而 一 项 成 
功 的 软件 测试 就 是 要 在 各 种 约束 条 件 下 最 大 限度 地 发 现 软件 的 缺陷 。 要 达到 这 一 目标 ， 必 
须 对 软件 测试 工作 进行 科学 有 效 的 管理 ， 使 软件 测试 工作 在 各 种 压力 下 不 会 失控 ， 自 始 至 
终 都 在 受 控 地 、 规 范 地 、 有 重点 地 进行 。 

(4) 只 有 系统 化 、 规 范 化 的 软件 测试 才能 有 效 地 发 现 软件 缺陷 ,才能 对 发 现 的 软件 缺 
陷 实 施 有 效 的 追踪 和 管理 ， 才 能 在 软件 缺陷 修改 后 进行 有 效 的 回归 测试 。 因 此 ， 一 项 软件 
测试 工作 的 自始至终 都 需要 进行 管理 ， 无 计划 性 和 随意 性 是 软件 测试 工作 的 大 总 。 

总 之 ， 软 件 开发 工作 需要 工程 化 ， 软 件 测试 工作 同样 也 需要 工程 化 ， 即 软件 测试 需要 
管理 。 只 有 在 科学 有 效 的 测试 管理 的 基础 上 ， 先 进 的 软件 测试 技术 和 软件 测试 工具 才能 充 
分 发 挥 作用 ， 才 能 保证 软件 测试 项 目的 成 功 。 

软件 测试 管理 主要 是 围绕 着 软件 测试 过 程 开 展 的 各 项 管理 工作 。 因 此 要 讨论 软件 测试 
管理 的 问题 ， 首 先 要 定义 一 个 软件 测试 过 程 。 本 章 的 第 1 节 将 给 出 软件 测试 过 程 定义 ， 第 
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2 节 分 别 就 软件 测试 工作 的 计划 、 质 量 、 资 源 、 人 员 、 配 置 、 信 息 等 方面 的 管理 进行 讨论 。 


9.1 软件 测试 过 程 


从 软件 生存 周期 模型 中 ， 人 们 常常 直观 地 认为 软件 测试 仅仅 是 软件 生存 周期 中 软件 编 
人 码 完成 后 的 一 个 或 几 个 阶段 。 实 际 上 ， 软 件 测试 也 是 一 个 过 程 ， 它 还 可 以 进一步 具体 地 分 
成 若干 个 阶段 性 活动 。 图 9.1 给 出 了 一 个 软件 测试 过 程 的 示意 图 。 


图 9.1 软件 测试 过 程 示意 图 


图 9.1 中 ， 将 软件 测试 过 程 分 成 了 4 个 阶段 : 

(1) 测试 计划 

(2) 测试 设计 

(3) 测试 执行 

(4) 测试 总 结 

该 软件 测试 过 程 适用 于 不 同 级 别 的 软件 测试 工作 ， 如 软件 单元 测试 、 软 件 集成 测试 和 
软件 配置 项 测试 等 。 为 了 描述 方便 ， 本 节 将 以 软件 配置 项 测试 为 例 ， 按 输入 、 任 务 、 输 出 
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这 样 的 结构 ， 描 述 上 述 测试 过 程 中 每 个 阶段 的 活动 。 另 外 ， 对 整个 测试 过 程 中 产生 的 各 类 
软件 测试 文档 将 进行 集中 的 介绍 。 对 软件 测试 过 程 与 软件 生存 周期 中 其 他 各 阶段 工作 的 关 
系 也 将 给 予 说 明 。 


9.1.1 软件 测试 计划 


“凡事 预 则 立 , 不 预 则 废 ”%” 软件 测试 计划 阶段 的 工作 是 成 功 实施 一 个 软件 测试 项 目的 
基础 。 软 件 测试 作为 一 种 特殊 的 项 目 ， 也 必须 针对 软件 测试 项 目的 特点 从 技术 和 管理 两 方 
面 对 其 进行 测试 分 析 和 项 目 计 划 ， 这 也 是 一 个 软件 测试 项 目 取 得 成 功 的 前 提 。 

本 阶段 工作 的 输入 是 : 软件 测试 任务 书 (或 合同 ) 和 被 测 软件 的 需求 规格 说 明 。 它 们 
是 开展 软件 测试 计划 的 基础 和 依据 。 

软件 测试 计划 要 从 技术 和 管理 两 个 方面 开展 计划 工作 ， 这 个 阶段 要 完成 的 主要 任务 
如 下 : 


(1) 确定 软件 测试 的 范围 
根据 软件 测试 任务 书 ， 对 系统 或 用 户 需 求 、 被 测 软 件 的 需求 规格 说 明 、 被 测 软 件 的 重 
要 功能 和 特性 、 已 开展 的 软件 测试 的 情况 等 ， 进 行 深入 的 了 解 和 分 析 ， 确 定 本 次 软件 测试 
的 工作 范围 和 重点 。 在 确定 测试 范围 和 测试 重点 时 ， 既 要 包括 用 户 最 关心 、 最 经 常 使 用 的 
功能 和 特性 ， 也 要 包括 严重 影响 系统 可 靠 性 、 安 全 性 的 关键 功能 和 特性 ， 同 时 要 使 本 次 测 
试 的 内 容 和 已 开展 的 软件 测试 工作 具有 一 定 的 互补 性 。 
(2) 确定 软件 测试 的 技术 要 求 
这 里 的 技术 要 求 主要 是 指 对 本 测试 项 目的 总 体 技术 要 求 ， 具 体 包 括 : 
口 ”确定 软件 测试 项 目 ， 如 软件 功能 测试 、 性 能 测试 、 可 靠 性 测试 、 强 度 测试 、 余 量 
测试 、 安 装 性 测试 等 ; 
口 ”确定 软件 测试 方法 ， 如 静态 分 析 、 代 码 审查 、 动 态 白 盒 测试 、 动 态 黑 盒 测试 等 ; 
口 ”确定 回归 测试 的 技术 要 求 ， 如 确定 是 否 要 将 回归 测试 分 为 一 般 回 归 测试 和 最 终 回 
归 测 试 ， 是 必须 重新 运行 全 部 的 测试 用 例 ， 还 是 可 以 有 选择 地 重新 运行 一 些 测试 
用 例 ? 这 种 选择 需要 通过 哪 一 级 的 评审 或 认可 等 
口 ”确定 软件 测试 的 终止 准则 。 软 件 测试 的 终止 准则 既 包 括 测试 正常 终止 ， 也 包括 测 
试 异 常 终止 。 所 谓 测试 正常 终止 ， 是 指 测试 满足 了 一 定 的 测试 完备 性 要 求 ， 如 达 
到 了 测试 所 履 盖 区 域 〈 如 软件 功能 、 软 件 特性 、 程 序 语句 、 程 序 分 支 等 ) 要 求 的 
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履 盖 率 指 标 ， 或 所 有 测试 用 例 执 行 完 后 发 现 的 软件 缺陷 数 达到 了 规定 的 要 求 等 。 
所 谓 测试 异常 终止 准则 ， 是 指 一 些 导 致 软件 测试 过 程 异 常 终止 的 条 件 ， 如 在 测试 
过 程 中 发 现 了 软件 的 重大 缺陷 ， 或 在 测试 过 程 中 发 现 的 软件 缺陷 很 多 ， 达 到 了 一 
个 规定 的 需要 停止 测试 的 数量 ， 或 软件 测试 达到 了 最 终 的 测试 时 间 期 限 等 。 
(3) 分 析 测 斌 需求， 确定 被 测试 软件 的 功能 和 特性 
在 被 测 软件 需求 规格 说 明 的 基础 上 ， 对 软件 测试 需求 进行 深入 细致 的 分 析 ， 对 每 一 类 
测试 需求 逐 层 分 解 细 化 ， 对 每 一 项 测试 需求 根据 其 重要 程度 赋予 一 个 测试 优先 级 。 通 过 对 
软件 测试 需求 的 分 析 得 到 一 个 结构 化 的 分 类 、 分 层 、 分 级 的 软件 测试 需求 集 。 有 具体 内 容 
包括 : 
口 ”分 析 功 能 需求 
分 析 被 测 软 件 需 求 规格 说 明 中 描述 的 每 一 项 功能 ， 若 需要 的 话 应 对 各 功能 进行 分 类 和 
分 解 。 
口 “分 析 性 能 需求 
分 析 被 测 软件 需求 规格 说 明 中 关于 性 能 的 要 求 《 如 执行 时 间 、 响 应 时 间 、 计 算 祖 度 、 
抗 干扰 能 力 或 吞吐 量 等 )， 逐 一 确定 被 测 软件 的 各 项 性 能 需求 。 
口 ”分析 其 他 需求 
分 析 被 测 软件 的 其 他 需求 ， 如 软件 可 靠 性 、 安 全 性 、 可 维护 性 、 易 用 性 等 方面 的 需求 ， 
以 及 那些 没有 在 被 测 软件 需求 规格 说 明 中 明确 指定 但 却 在 测试 中 有 意义 的 软件 特性 〈 即 隐 
藏 需求 ) 明确 列 出 ， 使 之 成 为 测试 需求 。 若 需要 的 话 ， 应 对 这 些 需 求 进行 分 类 和 分 解 。 
(4) 确定 软件 测试 的 资源 要 求 
根据 确定 的 软件 测试 项 目 和 测试 需求 ， 以 及 选择 的 软件 测试 方法 ， 确 定 选用 的 软件 测 
试 工具 和 测试 环境 。 这 些 测 试 工具 和 测试 设备 可 能 是 采购 的 通用 商业 产品 ， 可 能 是 委托 开 
发 的 定制 产品 ， 也 可 能 是 测试 组 自行 开发 的 工具 。 除 了 软件 测试 工具 和 测试 设备 外 ， 这 里 
讲 的 测试 资源 还 可 能 包括 测试 的 工作 场地 、 测 试 所 需 的 资金 等 。 应 明确 每 一 项 测试 工作 所 
需 资源 的 具体 要 求 及 各 项 资源 的 提供 时 间 。 
(5) 确定 软件 测试 的 人 员 要 求 
明确 测试 项 目 组 中 各 成 员 及 其 相应 的 职责 。 
(6) 确定 软件 测试 进度 
根据 软件 测试 任务 书 和 确定 要 开展 的 软件 测试 项 目 ， 以 及 软件 测试 组 人 员 的 情况 ， 依 
据 以 往 的 测试 项 目 经 验 数据 ， 制 定 项 目的 进度 计划 。 确 定 各 项 测试 活动 ， 如 测试 设计 、 测 
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试 执行 和 测试 总 结 等 的 完成 时 间 。 

(7) 制定 软件 测试 的 质量 保证 计划 

计划 本 测试 项 目的 质量 保证 活动 。 主 要 是 确定 : 依从 何 种 质量 模型 和 遵循 何 种 软件 质 
量 标准 ， 各 软件 测试 阶段 结束 后 是 否 需 要 进行 评审 ， 以 及 需要 进行 哪个 级 别 的 评审 ， 各 阶 
段 评审 在 管理 和 技术 方面 的 具体 要 求 等 。 

(8) 制定 软件 测试 的 配置 管理 计划 

计划 本 测试 项 目的 配置 管理 活动 。 如 果 本 项 软件 测试 活动 是 与 该 软件 的 其 他 开发 活动 
处 于 同一 个 软件 配置 管理 系统 之 下 ， 则 只 需 遵循 整个 软件 开发 项 目的 配置 管理 规定 。 如 果 
不 是 ， 则 需要 单独 计划 本 测试 项 目的 配置 管理 工作 ， 以 保证 各 被 测 软件 版 本 以 及 相应 的 测 
试 文档 处 于 有 效 的 管理 之 下 。 同 时 ， 应 注意 软件 测试 项 目的 配置 管理 要 与 被 测 软件 其 他 开 
发 活动 的 配置 管理 相 协调 。 

本 阶段 工作 的 输出 是 软件 测试 计划 。 另 外 ， 如 果 本 测试 项 目 需要 定制 一 些 软件 测试 工 
其 和 测试 设备 ， 在 本 阶段 还 要 提出 对 需 定制 的 测试 工具 的 初步 需求 ， 供 承接 测试 工具 开发 
的 机 构 使 用 。 


9.1.2 测试 设计 


本 阶段 工作 的 输入 是 : 软件 测试 计划 。 

软件 测试 设计 阶段 主要 包含 两 方面 的 工作 : 一 是 测试 用 例 的 设计 ， 二 是 测试 用 例 的 开 
发 和 实现 。 由 于 这 两 方面 的 工作 联系 紧密 ， 故 把 它们 放 在 软件 测试 设计 阶段 来 完成 。 本 阶 
段 要 完成 的 主要 任务 如 下 : 

(1) 在 软件 测试 计划 阶段 中 , 通过 测试 需求 分 析 得 到 细 化 后 的 每 一 个 被 测 软件 功能 和 
特性 ， 设 计 相 应 的 软件 测试 用 例 。 

(2) 针对 每 一 个 软件 测试 用 例 , 确定 其 测试 输入 、 测试 步 又 以 及 每 一 步 又 的 预期 输出 。 

(3) 如 果 需 要 ， 开 发 和 实现 相应 的 测试 输入 。 具 体 可 能 包括 : 

口 ”使 用 规定 的 测试 脚本 语言 编写 或 自动 捕获 所 需 的 软件 测试 脚本 ; 

口 “ 按 测试 用 例 说 明和 软件 数据 结构 的 描述 〈 必 要 时 按 测 试 工具 所 约定 的 格式 ) 产生 

测试 数据 。 使 测试 数据 处 于 可 以 投入 运行 的 状态 ， 如 磁盘 文件 等 ; 
口 ”建立 可 以 产生 测试 输入 数据 的 测试 数据 产生 器 ， 如 相关 的 仿真 模型 等 。 
(4) 建立 软件 测试 需求 集 和 软件 测试 用 例 集 之 间 的 关联 关系 。 这 种 关系 是 一 种 多 对 多 
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的 关系 ， 即 一 项 软件 测试 需求 可 能 会 被 多 个 软件 测试 用 例 所 履 盖 ， 而 一 个 软件 测试 用 例 也 
可 能 履 盖 了 多 项 软件 测试 需求 。 

以 上 工作 中 的 第 〈3) 项 是 软件 测试 用 例 开 发 和 实现 方面 的 工作 ， 只 有 将 软件 测试 输入 
数据 按 规 定 实现 出 来 并 准备 好 ， 才 能 进行 后 续 的 软件 测试 执行 工作 。 

本 阶段 工作 的 输出 是 : 软件 测试 说 明和 开发 出 来 的 各 类 测试 数据 。 另 外 在 这 个 阶段 ， 
定制 的 测试 资源 应 交付 。 


9.1.3 测试 执行 


本 阶段 工作 的 输入 是 : 软件 测试 说 明 、 被 测 软件 和 相关 的 软件 测试 资源 。 

在 软件 测试 执行 阶段 ， 可 以 根据 一 定 的 测试 目的 将 已 设计 好 软件 测试 用 例 组 织 成 不 同 
的 测试 用 例子 集 或 测试 用 例 组 , 根据 需要 确定 各 测试 用 例 组 及 各 测试 用 例 之 间 的 执行 顺序 。 
然后 在 准备 好 的 测试 环境 上 依次 执行 各 测试 用 例 并 详细 记录 每 一 步 的 测试 输出 数据 。 本 阶 
段 要 完成 的 主要 任务 如 下 : 

(1) 获得 被 测 程序 ; 

(2) 获得 指定 的 测试 资源 ， 如 定制 的 软件 测试 工具 或 软件 测试 平台 等 ; 

(3) 执行 测试 用 例 ; 

(4) 记录 测试 过 程 和 测试 输出 数据 。 

图 9.2 为 执行 测试 用 例 时 的 控制 流程 图 。 

Q@ 运行 测试 

建立 测试 环境 ， 包 括 启 动 计算 机 、 安 装 并 启动 测试 工具 ， 连 接 并 启动 测试 过 程 监测 和 
测试 输出 结果 记录 设备 、 其 他 支持 设备 或 软件 ， 运 行 测试 用 例 ， 包 括 在 测试 环境 中 以 预定 
的 方式 输入 并 运行 被 测 软件 ， 观 察 并 记录 运行 时 所 有 的 软件 测试 事件 ， 包 括 中 断 、 干 预 、 
暂停 、 继 续 、 终 止 、 死 机 等 事件 ， 以 及 显示 、 声 音 、 仪 表 指针 、 信 号 灯 、 受 控 设 备 动作 等 
输出 信息 。 

@ 判定 结果 

对 每 一 个 测试 用 例 ， 依 据 预 期 结果 来 判定 该 测试 用 例 是 通过 还 是 失效 ， 将 结果 记录 在 
测试 结果 描述 表 中 。 测 试 结 果 描 述 表 一 般 包 含 结果 描述 、 结 果 数据 、 结 果 评 价 等 内 容 。 必 
要 时 ， 收 集 测 试 执行 轨迹 的 总 结 信息 。 

对 每 一 次 失效 ， 应 加 以 分 析 并 将 出 错 信息 记录 在 错误 描述 表 中 ， 错 误 描 述 表 一 般 包 含 
错误 位 置 、 错 误 描述 、 错 误 原因 、 修 改建 议 等 内 容 。 根 据 下 列 情况 执行 相应 措施 。 
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核对 终止 情况 


图 9.2 执行 测试 用 例 时 的 控制 流程 


情况 1: 测试 说 明 或 测试 数据 的 错误 

改正 错误 ， 记 录 改 正 错误 信息 ， 然 后 重新 运行 该 测试 。 

情况 2， 执 行 测试 规 程 的 错误 

重新 执行 正确 的 测试 规程 。 

情况 3: 测试 环境 〈 如 系统 软件 、 测 试 工具 ) 错误 

将 测试 环境 修正 ， 记 录 修 正 情 况 ， 重 新 运行 该 测试 。 如 果 不 能 修正 ， 记 录 理 由 然后 开 
始 核对 终止 情况 。 

情况 4: 软件 实现 错误 

记录 修改 错误 的 建议 ， 待 修改 后 进行 回归 测试 ， 然 后 继续 进行 测试 ， 或 者 将 故障 与 异 
常 终止 情况 比较 ， 开 始 核对 终止 情况 。 

情况 5: 软件 设计 错误 

记录 修改 错误 的 建议 ， 待 修改 后 进行 回归 测试 ， 回 归 测 试 中 需 相应 修改 测试 设计 及 测 
试 输入 数据 ， 然 后 继续 进行 测试 ， 或 者 将 故障 与 终止 情况 比较 ， 开 始 核对 终止 情况 。 
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(5) 核对 终止 情况 
图 9.3 为 核对 终止 情况 时 的 控制 流程 图 。 


取 下 一 个 用 例 执行 测试 规程 


恒 常 终止 情况 出 现 否 2 


图 9.3 ”核对 终止 情况 时 的 控制 流程 
@ 对 测试 过 程 的 正常 终止 情况 进行 核对 


根据 完备 性 要 求 或 失效 记录 ， 确 定 是 否 要 增加 新 的 测试 集 ， 必 要 时 ， 需 分 析 测试 执行 
轨迹 的 总 结 信息 如 获 盖 人 信息、 数据 流 信 息 〉 才 能 得 出 结论 。 

@ 对 测试 过 程 的 异常 终止 情况 进行 核对 

若 满 足 异常 终止 条 件 〈 例 如 重要 错误 不 能 修正 、 超 时 等 )， 记 录 导 致 终止 的 特殊 条 件 ， 
同时 也 记录 未 完成 的 测试 及 未 修正 的 错误 。 

@ 补充 测试 集 

当 需 要 附加 测试 且 异 常 终止 情况 不 满足 时 ， 应 更 新 测试 集结 构 ， 修 改 测试 规程 说 明 ， 
获得 附加 测试 数据 并 执行 附加 测试 。 

本 阶段 工作 的 输出 是 : 软件 测试 记录 ， 包 括 测试 结果 描述 表 ， 错 误 描述 表 ， 测 试 执行 
轨迹 总 结 信息 以 及 核对 信息 ， 包 括 终止 条 件 及 附加 测试 情况 等 。 
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9.1.4 软件 测试 总 结 


本 阶段 工作 的 输入 是 : 软件 测试 计划 、 软 件 测试 说 明和 软件 测试 记录 等 。 

软件 测试 总 结 阶段 的 主要 工作 是 根据 软件 测试 的 执行 情况 ， 作 出 两 方面 的 评价 ; 一 是 
评价 软件 测试 的 效果 ; 二 是 评价 被 测试 的 软件 。 本 阶段 要 完成 的 主要 任务 如 下 : 

(1) 描述 测试 状态 

记录 测试 计划 和 测试 说 明 的 变化 情况 及 变化 的 原因 。 对 异常 终止 情况 ， 要 确定 未 被 测 
试 禾 盖 的 区 域 ， 并 记录 未 履 盖 理由 。 确 定 并 记录 未 解决 的 软件 测试 事件 及 其 不 能 解决 的 
理由 。 


(2) 描述 软件 状态 
记录 通过 测试 所 反映 的 软件 与 其 需求 规格 说 明之 间 的 差异 。 将 测试 结果 及 所 发 现 的 错 
情况 同 需求 规格 说 明 相 对 照 ， 评 价 软件 的 设计 与 实现 ， 记 录 评 价 信息 。 
评价 内 容 包括 : 
口 ”测试 证 实 了 的 被 测 软件 所 具有 的 能 
口 ”经 测试 证 实 的 软件 缺陷 和 限制 ， 说 明 每 项 缺陷 和 限制 以 及 全 部 测 得 的 缺陷 对 该 软 
件 的 影响 ; 
口 ”说明 被 测 软件 的 开发 是 否 满足 需求 规格 说 明 的 要 求 ， 是 否 达到 预定 目标 ， 是 否 能 
交付 使 用 ， 还 可 以 提供 改进 建议 。 
(3) 完成 软件 测试 报告 
(4) 保存 测试 文件 
收集 、 组 织 、 存 储 和 归档 测试 得 到 的 成 果 , 以 备 调用 或 重用 (例如 在 回归 测试 中 使 用 )。 
这 些 成 果 包 括 测试 计划 、 测 试 说 明 、 测 试 脚 本 、 测 试 输入 数据 文件 或 仿真 模型 、 测 试 输出 
数据 文件 、 测 试 结果 数据 解释 和 分 析 工 具 以 及 测试 报告 等 。 
本 阶段 工作 的 输出 是 测试 报告 。 


9.1.5 ”软件 测试 文档 


跑 


如 上 节 所 述 ， 软 件 测试 过 程 中 的 各 阶段 都 会 产生 大 量 的 测试 信息 ， 这 些 信 息 一 般 都 以 
测试 文档 的 形式 进行 记录 ， 如 图 9.4 所 示 。 
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pe S 软件 测试 计划 
oe 
i > 软件 测试 说 明 
试 输出 数据 和 过 程 记 : 
测试 执行 。 二---------- > 测试 输出 数据 和 过 程 记录 
软件 测试 报告 
0 > 软件 测试 报告 


图 9.4 软件 测试 过 程 中 产生 的 软件 测试 文档 


软件 测试 文档 是 软件 工程 文档 的 重要 组 成 部 分 , 也 是 实施 软件 测试 工程 化 的 重要 标志 。 
软件 测试 文档 可 以 作为 软件 测试 过 程 中 各 阶段 的 工作 成 果 和 结束 标志 ， 提 高 测试 过 程 的 可 
视 性 和 可 管理 性 ， 有 利于 对 软件 测试 过 程 实施 管理 。 另 外 ， 及 时 编写 软件 测试 文档 有 助 于 
各 类 测试 人 员 之 间 、 测 试 人 员 与 开发 人 员 之 间 、 测 试 人 员 与 软件 用 户 之 间 的 信息 交流 ， 有 
利于 及 时 发 现 软件 测试 过 程 中 的 问题 ， 同 时 也 提高 了 软件 测试 过 程 的 透明 性 ， 降 低 了 测试 
工作 对 具体 测试 人 员 的 过 分 依赖 性 等 。 此 外 ， 软 件 测试 文档 还 是 开展 软件 回归 测试 和 软件 
测试 重用 的 基础 。 


| 

图 
或 规范 
和 测试 提 


) 测试 文档 的 种 类 及 编制 
9.4 中 给 出 了 软件 测试 过 程 中 各 阶段 应 产生 的 测试 文档 。 根 据 大 多 数 软件 测试 标准 
4 规定， 将 软件 测试 过 程 中 产生 主要 测试 文档 定义 为 3 种 ， 即 测试 计划 、 测 试 说 明 


2 
Do 


测试 计划 记录 了 软件 测试 计划 阶段 的 主要 工作 成 果 ， 其 中 包括 本 项 测试 工作 的 测试 范 
围 和 总 体 技术 要 求 ， 包 括 测试 项 目 、 测 试 方法 、 回 归 测 试 的 技术 要 求 和 测试 终止 准则 等 ; 
详细 描述 了 结构 化 的 需 测试 的 软件 功能 和 特性 ;明确 了 测试 的 资源 要 求 、 人 员 要 求 和 进度 
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安排 ， 另 外 对 测试 过 程 的 质量 保证 和 配置 管理 等 工作 也 进行 了 明确 的 规定 。 由 于 要 测试 的 
内 容 可 能 涉及 到 软件 的 需求 和 设计 ， 因 此 必须 及 早 开始 测试 计划 的 编写 工作 。 通 常 测试 计 
划 的 编写 是 从 软件 需求 分 析 阶 段 或 相应 的 软件 设计 阶段 开始 的 。 

测试 说 明 详 细 描述 了 每 一 个 软件 测试 用 例 ， 包 括 输 入 、 测 试 步骤 和 每 一 步骤 的 预期 输 
出 结果 。 测 试 说 明 涉及 到 对 被 测 软件 需求 的 进一步 分 类 和 分 解 ， 以 及 每 个 软件 测试 用 例 的 
详细 设计 。 测 试 说 明 的 编写 通常 从 软件 设计 阶段 开始 ， 到 相应 测试 阶段 开始 前 完成 。 

测试 报告 应 详细 描述 测试 的 执行 情况 及 对 测试 结果 的 分 析 情 况 ， 经 过 测试 证 实 了 软件 
具有 的 能 力 以 及 它 的 缺陷 与 限制 ， 并 给 出 评价 的 结论 性 意见 。 这 个 意见 既是 对 软件 质量 的 
评价 ， 又 是 决定 该 软件 能 否 交付 用 户 使 用 的 一 个 依据 。 测 试 报告 是 在 测试 阶段 内 编写 的 
软件 测试 的 输出 数据 和 过 程 记 录 应 归并 到 软件 测试 报告 中 (一般 是 作为 软件 测试 报告 的 
附录 )。 

测试 文档 不 是 一 成 不 变 的 ， 它 要 适应 测试 任务 的 需要 ， 不 断 更 新 。 此 外 ， 测 试 文档 应 
和 其 他 的 软件 开发 文档 一 样 ， 遵 循 权威 的 文档 编写 标准 ， 如 国标 、 国 军 标 或 行业 标准 等 。 

(2) 不 同 测试 阶段 的 测试 文档 

软件 单元 测试 、 集 成 测试 和 确认 测试 ， 各 自 的 任务 、 技 术 方 法 和 组 织 方式 都 有 所 不 同 
在 测试 文档 的 编制 上 也 有 一 定 区 别 。 

单元 测试 规模 小 ， 任 务 相对 简单 ， 动 用 资源 少 ， 且 一 般 可 由 单元 开发 者 自己 进行 。 通 
常 可 以 不 编写 测试 计划 而 直接 把 测试 用 例 、 测 试 规程 和 测试 结果 记录 下 来 ， 说 明 测 试 设计 
的 考虑 及 测试 充分 性 。 可 以 将 上 述 各 种 测试 信息 统一 编写 在 一 个 单元 测试 报告 中 ， 或 一 些 
单元 测试 的 记录 单 中 。 

集成 测试 通常 也 由 开发 组 进行 ， 如 果 程 序 规模 不 太 大 ， 集 成 测试 也 不 复杂 ， 则 可 以 不 
编写 集成 测试 计划 ， 但 在 测试 说 明 中 应 写 明 集成 的 策略 及 有 具体 顺序 。 集 成 测试 作为 软件 工 
程 的 一 个 阶段 ， 应 编写 集成 测试 报告 。 

系统 测试 和 确认 测试 要 认真 编写 测试 计划 、 测 试 说 明和 测试 报告 ， 特 别 要 在 测试 计划 
中 确定 测试 项 目 、 测 试 方法 、 测 试 资源 和 测试 进度 ， 便 于 及 早 解决 后 续 阶段 测试 工作 中 的 
问题 。 

对 于 嵌入 式 软件 来 说 ， 在 软件 确认 测试 后 还 要 参加 系统 联 试 。 系 统 联 试 阶段 是 软件 研 
制 人 员 参 加 的 大 系统 的 测试 ， 软 件 研制 人 员 应 提出 系统 联 试 环境 下 软件 测试 工作 建议 ， 供 
系统 人 员 人 参考， 配合 系统 人 员 完 成 系统 规定 的 文档 ， 如 试验 大 纲 、 试 验 细则 和 试验 报告 等 。 

最 后 要 说 明 的 是 测试 文档 有 手工 编制 和 自动 生成 两 种 。 自 动 生成 的 文档 借助 文档 生成 
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工具 的 支持 ， 可 以 较 容易 地 完成 信息 查找 、 比 较 和 修改 等 操作 。 一 些 测试 工具 系统 能 提供 
部 分 测试 文档 辅助 生成 功能 ， 但 提供 的 功能 有 限 ， 手 工 编 制 仍 是 主要 手段 。 


9.1.6 测试 工作 贯穿 于 软件 开发 全 过 程 


完整 的 测试 工作 贯穿 于 软件 开发 的 全 过 程 ， 它 有 两 方面 含义 : 一 是 软件 开发 的 不 同 阶 
段 都 有 测试 工作 ， 二 是 测试 工作 的 各 个 步骤 分 布 在 软件 开发 过 程 中 。 软 件 生存 期 和 软件 测 
试 工作 的 关系 如 图 2.1 所 示 。 

图 9.5 借用 类 甘 特 图 的 形式 ， 描 述 了 软件 测试 各 阶段 工作 在 软件 开发 周期 中 的 分 布 、 
根据 软件 测试 过 程 ， 把 测试 工作 分 为 计划 、 设 计 、 开 发 、 执 行 和 总 结 几 大 阶段 。 图 9.5 表 
明 ， 测 试 工作 是 连续 不 断 地 在 软件 开发 过 程 中 进行 的 。 

为 什么 不 等 到 相应 测试 阶段 开始 再 开展 相关 的 测试 工作 呢 ? 主要 有 以 下 几 点 原因 ， 

(1) 在 前 面 各 种 测试 项 目 和 测试 技术 的 介绍 中 ， 我 们 可 以 看 出 ， 好 的 需求 〈 全 面 、 
清晰 )、 好 的 设计 结构 化 、 模 块 化 )、 好 的 编码 (风格 ) 更 易于 全 面 有 效 的 测试 。 另 一 
方面 ， 可 测试 性 也 是 对 软件 需求 分 析 、 软 件 设 计 等 方面 工作 的 要 求 ， 要 在 这 些 阶 段 就 充 
分 考虑 测试 工作 。 更 有 意义 的 是 ， 易 于 测试 的 软件 本 身 所 包含 的 错误 一 般 会 少 于 难于 测 
试 的 软件 。 


i 证 
二 国 国 国 站 国 同 世 ek 


系统 测试 


确认 测试 


总 结 


图 9.5 软件 测试 各 阶段 工作 的 分 布 
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(2) 对 于 系统 测试 、 确 认 测试 、 集 成 测试 这 样 涉及 整个 软件 甚至 系统 的 测试 工作 ， 应 
当 作为 软件 研制 工作 的 重要 组 成 部 分 ， 及 早 规划 ， 落 实测 试 资源 和 测试 人 员 ， 安 排 测试 
度 ， 这 样 才能 尽快 解决 可 能 碰 到 问题 ， 有 条 不 率 地 展开 后 续 的 测试 工作 。 

(3) 测试 是 一 项 艰苦 、 繁 复 的 工作 ， 难 度 大 ， 工 作 量 大 ， 测 试 后 还 要 进行 软件 更 改 。 
因此 必须 及 早 开始 ， 尽 可 能 与 其 他 软件 开发 工作 并 行 开 展 ， 和 否则 会 成 为 项 目 开发 进度 的 
瓶颈 。 


9.2 软件 测试 管理 


软件 测试 作为 软件 工程 的 一 部 分 ， 有 效 的 测试 管理 是 高 质量 、 高 效率 地 完成 软件 测试 
工作 的 重要 保证 。 因 为 软件 测试 项 目 具 有 一 定 的 特殊 性 ， 因 此 软件 测试 管理 工作 在 测试 组 
织 、 测 试 控制 、 资 源 管理 、 测 试 文档 管理 等 方面 都 有 一 些 自己 特殊 的 要 求 。 下 面 简要 介绍 
测试 管理 工作 的 有 关内 容 。 


9.2.1 测试 组 织 


测试 组 织 工作 包括 单元 测试 、 集 成 测试 、 系 统 测 试 及 独立 测试 组 织 ， 不 同 关 键 级 别 软 
件 测 试 的 组 织 策略 可 能 有 所 不 同 。 

(1) 单元 测试 的 组 织 

单元 是 软件 的 基本 构成 单位 ， 单 元 的 功能 和 结构 相对 简单 ， 规 模 不 大 ， 同 时 单元 的 设 
计 和 编码 涉及 到 软件 设计 的 细节 ， 因 此 单元 测试 通常 在 软件 开发 小 组 中 开展 ， 由 单元 设计 
和 编码 人 员 有 具体 执行 。 整 个 单元 测试 工作 由 项 目 负责 人 统一 负责 。 单 元 测试 可 完全 由 单元 
设计 和 编码 人 员 执行 ， 为 了 提高 单元 测试 的 有 效 性 ， 特 别 是 对 于 较 关 键 、 复 杂 、 核 心 的 单 
元 ， 可 以 在 组 内 进行 “ 互 测 ” 即 由 单元 设计 和 编码 人 员 互 相交 换 各 自 开 发 的 单元 ， 彼 此 互 
相 测试 。 由 于 开发 组 内 成 员 对 设计 细节 都 比较 熟悉 ， 这 种 方式 是 可 行 的 。 另 一 种 互 测 的 方 
式 是 单元 设计 和 编码 人 员 完 成 测试 用 例 设计 和 测试 规程 ， 由 组 内 其 他 成 员 执 行 测试 。 项 目 
组 负责 人 应 该 组 织 对 单元 测试 说 明 进 行 讨 论 和 审查 。 然 后 指派 项 目 开 发 组 中 的 相关 人 员 进 
行 测试 。 对 于 一 些 非常 关键 的 单元 ， 如 安全 关键 单元 ， 必 要 时 也 可 以 采取 第 三 方 独立 测试 
的 方式 进行 。 
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对 单元 进行 代码 审查 应 由 项 目 负责 人 负责 ， 以 代码 审查 会 的 方式 进行 。 单 元 设计 和 编 
gad nee na gti tent Neal dso ett 
检查 ， 其 查 错 误 效果 比 代 码 审 查 差 。 项 目 负 责 人 组 织 单元 的 代码 审查 会 时 ， 请 其 他 项 目 组 
或 其 他 机 构 的 同行 专家 参加 是 有 益 的 。 

项 目 组 负责 人 应 组 织 开 展 单元 测试 工作 ， 了 解 其 进度 、 问 题 及 结果 ， 汇 集 单元 测试 的 
有 关 测 试 文件 ， 包 括 测试 用 例 、 测 试 规 程 和 测试 结果 等 。 

(2) 集成 测试 的 组 织 

如 果 一 个 软件 由 一 个 开发 小 组 开发 且 规 模 也 不 大 ， 那 么 该 软件 的 集成 测试 工作 一 般 由 
项 目 组 负责 人 负责 ， 在 开发 小 组 内 完成 。 

集成 测试 中 将 各 个 单元 集成 在 一 起 并 进行 接口 测试 和 集成 得 到 的 部 件 的 测试 。 由 于 涉 
及 到 多 个 单元 , 集成 测试 应 由 项 目 中 负责 测试 的 人 员 统 一 考虑 ， 必 要 时 编制 集成 测试 计划 ， 
在 计划 中 明确 集成 策略 和 顺序 。 测 试 人 员 还 要 编写 集成 测试 说 明 ， 在 测试 完成 后 编写 集成 
测试 报告 。 无 论 集成 测试 说 明和 集成 测试 报告 是 否 要 经 过 上 一 级 评审 ， 项 目 负责 人 都 要 组 
织 对 这 两 份 文件 的 讨论 和 审查 ， 所 有 设计 和 编码 人 员 都 应 参加 这 项 讨论 和 审查 工作 。 集 成 

测试 可 由 开发 组 内 负责 测试 的 人 员 执 行 ， 也 可 安排 给 设计 人 员 完 成 。 为 尽 可 能 遵循 测试 的 

独立 性 原则 ， 应 在 安排 时 ， 考 虑 所 集成 的 单元 在 对 其 进行 接口 测试 和 部 件 测试 时 ， 不 由 单 
元 的 设计 者 本 身 完成 。 

在 条 件 成 熟 时 ， 软 件 开发 机 构 应 进一步 进行 专业 分 工 ， 将 软件 开发 队伍 中 的 软件 设计 
人 员 和 软件 测试 人 员 分 开 ， 把 集成 测试 交 由 专业 软件 测试 组 完成 。 这 种 组 织 方式 符合 测试 
的 独立 性 原则 ， 可 以 发 挥 专业 测试 队伍 的 特长 ， 提 高 测试 质量 。 

由 几 个 软件 开发 机 构 共同 完成 的 软件 的 最 后 集成 与 测试 工作 ， 可 由 上 级 机 构 或 交办 方 
进行 或 委托 第 三 方 进行 独立 测试 ， 这 通常 出 现在 软件 规模 比较 大 、 涉 及 多 层 分 包 的 情况 下 。 

(3) 系统 测试 的 组 织 

系统 测试 要 检验 软件 功能 、 性 能 和 接口 等 特性 和 需求 的 一 致 性 ， 涉 及 所 有 的 单元 ， 项 
目 负责 人 应 该 组 织 测试 小 组 进行 系统 测试 (测试 小 组 的 核心 是 软件 开发 队伍 中 负责 测试 的 
人 员 )， 以 便 集中 地 、 综 合 地 考虑 测试 问题 。 测 试 小 组 应 有 1 个 主管 (组 长 )， 组 长 可 以 由 
项 目 负责 人 担任 ， 也 可 以 由 开发 队伍 中 负责 测试 的 人 员 担 任 。 其 任务 是 负责 确认 测试 计划 
的 制定 ， 安 排 小 组 成 员 的 工作 ， 规 划 测试 进度 ， 组 织 小 组 讨论 ， 以 及 在 测试 过 程 中 协调 小 
组 内 部 人 员 和 其 他 开发 设计 人 员 的 交流 ， 并 负责 向 项 目 负责 人 反映 测试 中 的 问题 ， 获 得 技 
术 和 资源 支持 。 其 他 的 小 组 成 员 各 自负 责 项 目 中 的 某 一 部 分 或 某 几 项 测试 。 小 组 中 需要 有 
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一 个 人 员 负 责 配置 管理 ， 管 理 各 种 数据 库 、 测 试用 例 集 、 测 试 所 需要 的 软 、 硬 件 及 测试 工 
有 具 、 被 测试 项 的 不 同 版 本 、 不 同 批 次 的 测试 结果 ， 负 责 所 有 测试 用 工作 表 的 发 放 、 收 回 、 
保存 ， 所 有 存储 介质 的 保存 和 更 新 ， 包 括 光盘 、 磁 盘 、 磁 带 等 。 小 组 当中 还 应 有 人 负责 文 
档 的 整理 和 记录 工作 ， 要 做 许多 文书 性 工作 ， 包 括 编写 小 组 讨论 和 检查 会 记录 ， 整 理 形 成 
测试 用 例 说 明 单 ， 记 录 并 整理 测试 结果 等 ， 配 置 管理 和 文档 工作 兼任 是 一 种 选择 。 在 内 部 
进行 系统 测试 工作 时 ， 测 试 小 组 根据 需要 可 以 吸纳 一 两 个 技术 支持 人 员 参 加 ， 这 些 人 员 是 
软件 的 设计 和 开发 者 ， 他 们 能 迅速 回答 一 些 软件 结构 及 实现 的 细节 ， 并 能 理解 和 解释 在 运 
行 中 发 现 的 错误 和 缺陷 ， 对 测试 中 的 问题 采取 和 暂时 性 的 解决 办 法 ， 并 负责 和 其 他 设计 人 员 
联系 。 

采用 独立 测试 的 组 织 方式 进行 系统 验收 测试 ， 可 以 避免 单纯 由 开发 机 构 内 部 进行 测试 
的 一 些 技术 和 心理 障碍 ， 测 试 效果 更 好 。 需 要 指出 的 是 ， 系 统 测试 采取 独立 测试 小 组 方式 
并 不 是 为 了 代替 开发 者 内 部 的 系统 测试 工作 ， 而 是 为 了 充分 发 挥 独立 测试 客观 性 、 专 业 性 、 
权威 性 的 优势 ， 更 好 地 完成 系统 测试 工作 。 只 有 发 挥 软件 研制 队伍 内 部 和 外 部 独立 测试 各 
自 的 力量 才能 全 面 高 效 地 完成 系统 测试 ， 为 提高 软件 质量 提供 有 力 保证 。 

采用 独立 测试 方式 组 织 系统 测试 ， 要 注意 以 下 几 方面 的 管理 工作 : 

@ 及 早 确定 任务 ， 安 排 进度 。 独 立 测试 队伍 最 好 在 项 目 开 始 时 就 介入 ， 随 着 开发 过 程 
的 进行 不 断 了 解 软件 需求 、 设 计 和 实现 的 情况 ， 以 便 充 分 了 解 软件 ， 理 解 软件 ， 这 样 才能 
测试 好 软件 。 及 早 安排 进度 可 以 克服 匆忙 测试 、 不 能 深入 的 缺点 。 只 要 有 可 能 就 应 尽早 启 
动 测试 工作 。 

@ 落实 经 费 和 资源 。 从 前 面 的 介绍 中 可 以 看 出 测试 有 着 很 大 的 工作 量 , 必须 有 足够 的 
经 费 和 必要 的 资源 支持 ， 建 立 测 试 环 境 、 购 买 测试 工具 、 人 员 培 训 、 辅 助 设施 、 工 具 开 发 
测试 是 技术 性 很 高 的 工作 ， 大 量 人 员 投 入 等 ， 这 些 都 需要 物质 力量 支持 。 

@ 加 强 沟通 、 协 调 。 独 立 测试 机 构 需 要 从 开发 机 构 获 得 大 量 信息 、 数 据 和 资料 ， 并 进 
行 软件 任务 、 需 求 、 设 计 等 方面 的 咨询 ， 如 果 需 要 共享 资源 (如 与 开发 方 共用 一 些 仿真 器 
或 目标 机 等 )， 还 应 与 软件 开发 方 或 其 上 级 机 构 进 行 协调 、 安 排 等 。 由 于 以 上 种 种 原因 ， 独 
立 测试 机 构 还 不 能 和 开发 机 构 完全 隔离 , 在 交流 、 协 调 方面 还 有 大 量 的 测试 管理 工作 要 做 ， 
包括 安排 讨论 、 咨 询 、 测 试 发 现 问题 后 的 问题 确认 、 修 改 后 何 时 进行 回归 测试 等 。 

@ 由 于 第 三 方 独立 确认 测试 的 任务 及 重要 性 , 对 承担 第 三 方 独立 测试 任务 的 机 构 应 认 
真 考查 ， 认 证 授权 ， 确 保 独立 测试 工作 的 质量 。 

以 独立 测试 方式 进行 确认 测试 ， 采 取 的 测试 技术 不 太 相 同 ， 但 测试 规程 、 测 试 小 组 组 
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成 原则 等 都 和 开发 机 构 内 部 测试 一 样 。 所 不 同 的 是 独立 测试 组 长 还 要 负责 与 开发 机 构 〈 通 
过 自己 上 级 机 构 ) 协调 交流 。 为 了 实施 一 些 特定 测试 ， 如 可 靠 性 测试 、 履 盖 分 析 等 ， 独 立 
测试 机 构 可 能 需要 开发 专用 测试 工具 、 建 立 测试 环境 和 研制 测试 设备 等 。 专 用 工具 的 开发 
应 在 测试 项 目 计 划 中 尽早 明确 ， 和 测试 设计 、 测 试 实现 等 工作 并 行进 行 ， 以 便 及 时 提供 使 
用 。 作 为 一 个 发 展 方向 ， 软 件 开发 单位 内 部 也 应 进行 专业 分 工 ， 实 施 开发 机 构 内 部 的 “ 独 
立 测试 ” 这 样 也 能 发 挥 思维 互补 、 专 业 发 展 的 优势 ， 提 高 开发 机 构 内 部 测试 工作 的 质量 。 

(4) 落实 责任 

软件 测试 工作 地 位 重要 ， 必 须 落实 责任 。 从 长 远 看 ， 开 发 机 构 应 建立 专业 队伍 ， 专 门 
进行 机 构 内 的 测试 工作 ,承担 除 单元 测试 外 的 所 有 测试 工作 ， 可 以 从 集成 或 系统 测试 起 步 。 
应 有 人 负责 专业 队伍 的 建立 、 管 理 、 培 训 。 各 项 目 开发 组 也 要 指定 负责 测试 的 人 员 ， 承 担 
组 内 有 关 测 试 工作 及 与 测试 工作 有 关 的 协调 与 交流 ， 在 开发 的 各 阶段 从 测试 角度 对 开发 工 
作 提 出 建议 ， 例 如 需求 的 可 测试 性 ， 设 计 结 构 化、 模块 化 ， 为 未 来 测试 工作 做 好 准备 。 

测试 实施 当中 有 以 下 几 方 面 工作 必须 落实 : 

@ 测试 项 目 计划 的 制定 ， 协 调 测试 工作 ， 提 供 必要 的 资源 ， 协 助 获得 测试 有 关 的 软 、 
硬件 资料 ， 可 由 计划 部 门 和 测试 项 目 负责 人 完成 。 

@ 组 织 测试 计划 、 测 试 说 明和 测试 报告 的 评审 工作 ， 可 由 质量 部 门 负责 。 

@ 批准 软件 测试 计划 和 软件 测试 报告 ， 全 面 负责 测试 质量 ,由 独立 测试 机 构 负责 人 或 
开发 机 构 测试 队伍 负责 人 完成 。 

@ 确定 详细 测试 方案 ,监督 控制 测试 工作 进行 ， 反 映 资源 、 进 度 等 实际 问题 ， 组 织 测 
试 组 讨论 ， 解 决 技术 问题 等 ， 由 测试 组 负责 人 负责 。 

@ 执行 测试 工作 , 产生 相应 测试 数据 及 文档 ， 必 要 时 编写 定制 工具 、 环 境 和 设备 的 需 
求 并 验收 交付 的 工具 或 设备 ， 由 测试 人 员 完 成 。 

@ 文档 整理 、 测 试 配 置 管 理 ， 由 测试 人 员 专 职 或 兼职 完成 。 


9.2.2 ”测试 质量 管理 


软件 测试 的 质量 管理 主要 依据 一 定 的 质量 模型 和 相关 标准 的 软件 质量 定性 、 定量 指标 ， 
采用 评审 和 测试 实施 监督 两 种 方法 。 

评审 是 软件 工程 质量 管理 的 重要 方法 。 评 审 的 定义 是 

(1) 在 正式 会 议 上 ， 把 系统 的 初步 的 或 详细 的 设计 提交 给 用 户 、 客 户 或 有 关 人 士 供 其 
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评审 或 批准 ; 

(2) 对 现 有 的 或 提出 的 设计 所 做 的 正式 评估 和 审查 ， 其 目的 是 找 出 可 能 会 影响 产品 、 
过 程 或 服务 工作 的 适用 性 和 环境 方面 的 设计 缺陷 并 采取 补救 措施 ， 或 者 找 出 在 性 能 、 安 全 
性 和 经 济 方面 的 可 能 的 改进 。 
软件 测试 有 关 的 评审 包括 对 集成 测试 计划 和 集成 测试 的 评审 ， 软 件 系 统 测试 计划 和 软 
件 系 统 测试 的 评审 。 对 哪些 阶段 的 哪些 文档 进行 评审 , 可 以 由 具体 软件 工程 实施 规范 规定 ， 
通常 至 少 包括 集成 测试 的 评审 、 系 统 测试 计划 和 系统 测试 的 评审 ， 评 审 文档 包括 集成 测试 
计划 、 集 成 测试 说 明 、 集 成 测试 报告 、 系 统 测试 计划 、 系 统 测试 说 明 、 系 统 测试 报告 。 

评审 分 为 正式 评审 和 内 部 评审 两 种 ， 哪 些 测 试 阶段 哪些 测试 文档 正式 评审 ， 哪 些 内 痢 
评审 由 具体 软件 工程 实施 规范 规定 ， 通 常 系统 测试 有 关 评 审 要求 进 行 正式 评审 。 正 式 评审 
指 由 上 级 软件 负责 人 负责 并 主持 ， 由 质量 管理 部 门 组 织 进 行 。 这 是 一 种 组 外 的 公开 的 评审 。 
内 部 评审 指 由 项 目 组 长 负责 组 织 进 行 ， 适 当 邀 请 有 关 人 员 参 加 是 有 益 的 。 

集成 测试 评审 的 文档 是 集成 测试 计划 、 集 成 测试 说 明和 集成 测试 报告 ， 主 要 评审 内 容 
包括 : 


口 ”软件 集成 过 程 的 恰当 性 ; 

口 ”测试 用例 集 的 完整 性 和 恰当 性 ; 

口 ” 测 试 结果 和 测试 用 例 集 的 一 致 性 ; 

口 ” 测 试 环境 和 正式 运行 环境 的 相 容 性 ; 

口 ”测试 分 析 过 程 和 结论 的 正确 性 ; 

口 管理 评审 。 

系统 测试 计划 评审 的 主要 内 容 包 括 : 

口 ”测试 计划 安排 的 合理 性 ; 

口 ”测试 环境 选择 的 合适 性 ; 

口 ”测试 功能 、 性 能 的 合理 性 、 齐 全 性 ; 

口 ”测试 强度 、 测 试 可 靠 性 的 恰当 性 ， 

口 “测试 设计 测试 用 例 、 测 试 规程 、 测 试 方案 产生 的 合理 性 、 正 确 性 、 全 面 性 ; 
口 “测试 结果 分 析 方法 的 合适 性 ; 

口 “系统 测试 人 员 、 进 度 、 资 源 安排 的 合理 性 、 可 靠 性 。 

系统 测试 评审 的 文档 是 系统 测试 说 明和 系统 测试 报告 ， 主 要 内 容 包括 : 
口 ”测试 用 例 集 的 完备 性 和 恰当 性 ; 
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测试 结果 和 测试 用 例 集 的 一 致 性 ; 
测试 环境 与 运行 环境 的 相 容 性 ; 
强度 测试 过 程 的 恰当 性 ; 
测试 分 析 过 程 和 结论 的 正确 性 。 

评审 的 结论 一 般 有 3 种 : 

口 ” 评 审 通 过 、 系 统 测试 过 程 和 被 测 软件 均 符合 要 求 ; 

口 ”系统 测试 过 程 正确 ， 但 被 测 软 件 未 达到 要 求 ， 问 题 太 多 或 很 重要 或 未 解决 ; 

口 ”系统 测试 过 程 不 正确 或 不 完整 ， 必 须 改进 ， 重 新 测试 ， 另外 组 织 测试 组 重 做 测试 

也 是 一 种 选择 方案 。 

评审 以 评审 组 方式 进行 。 评 审 组 的 组 成 、 评 审 程序 见 本 书 第 4 章 4.6 节 。 评 审 中 使 用 
评审 检查 单 ， 评 审 组 按 评 审 检查 单 中 所 列 问题 ， 逐 个 审查 文档 并 提出 质疑 ， 最 后 给 出 评审 
意见 。 

测试 实施 的 监督 是 测试 质量 控制 的 重要 手段 。 其 目的 在 于 监督 、 控 制 测试 按 批准 的 计 
划 执 行 。 监 督 的 任务 包括 测试 方案 的 实施 、 测 试 资源 的 落实 、 相 关 培 训 的 开展 以 及 测试 环 
境 的 建立 、 测 试 数据 、 测 试 结果 获得 的 真实 性 ， 测 试 操作 按 规 程 进行 的 符合 性 等 。 测 试 监 
督 可 以 采取 派驻 代表 、 定 期 检查 、 抽 查 、 项 目 负责 人 汇报 、 设 立 测试 执行 里 程 碑 、 测 试 现 
场 目 击 、 核 查 文档 方式 进行 。 测 试 监督 按 不 同 的 测试 组 织 方式 可 以 由 以 下 人 员 进 行 : 

(1) 测试 小 组 负责 人 , 负责 开发 机 构 内 部 测试 的 监督 、 独 立 测试 机 构 测试 项 目的 监督 。 

(2) 用 户 代表 ， 用 户 向 承办 方 〈 包 括 独 立 测试 机 构 ) 派驻 的 质量 代表 ， 如 代表 军 方 用 
户 的 军 代表 ， 代 表 上 级 用 户 的 系统 代表 等 。 

(3) 开发 或 独立 测试 机 构 的 质量 管理 部 门 的 代表 , 这 可 作为 日 常 质量 管理 工作 的 一 部 
分 ， 进 行 质量 信息 收集 和 质量 状态 检查 ， 或 者 作为 型 号 研制 队伍 的 质量 保证 队伍 进行 质量 
保证 工作 。 
(4) 委托 和 授权 第 三 方 独立 机 构 ， 如 独立 验证 与 确认 〈IV&V) 机 构 进行 质量 监督 。 
测试 监督 是 繁琐 、 零 碎 的 事情 ， 而 且 这 种 角色 容易 引起 反感 。 为 了 搞 好 测试 监督 ， 切 
实 保证 测试 质量 问题 能 及 时 发 现 、 及 时 纠正 ， 避 免 产 生 测试 结束 后 才 发 现 重大 错误 或 重大 
缺漏 的 问题 ， 进 行 质量 监督 的 人 员 要 具备 一 定 的 素质 。 

口 ” 应 当 是 有 软件 开发 经 验 的 ; 

口 “为 人 路 达 幽默 、 处 理 问题 “对 事 不 对 人 ”， 

口 “善于 从 混乱 中 建立 秩序 ， 拿 得 起 放 得 下 ; 
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口 善于 思考 和 提出 疑问 ， 但 不 是 敌视 ; 

口 ” 坚 场 而 大 胆 ， 能 坚持 原则 ; 

口 ”诚实 而 廉洁 ， 有 一 种 为 事业 献身 的 精神 。 

最 后 ， 开 发 机 构 、 独 立 评测 机 构 、 用 户 机 构 都 能 充分 认识 质量 保证 工作 的 作用 ， 并 在 
测试 工作 中 坚持 实施 ， 是 保证 测试 质量 的 根本 条 件 。 


9.2.3 ”测试 进度 与 测试 资源 管理 


经 验 和 统计 说 明 ， 测 试 的 工作 量 很 大 ， 会 占 整 个 研制 工作 的 40% 以 上 。 巨 大 的 工作 意 
味 着 在 时 间 、 人 力 、 经 费 、 设 备 、 设 施 等 多 方面 的 投入 ， 充 分 、 恰 当地 考虑 测试 中 所 需要 
的 ， 合 理 安排 和 使 用 有 限 的 资源 ， 高 质 、 高 效 地 完成 测试 工作 ， 是 测试 资源 管理 要 解决 的 
问题 。 测 试 资 源 管理 涉及 以 下 几 方 面 内 容 。 

(1) 进度 管理 

进度 管理 的 任务 ， 是 对 软件 开发 全 过 程 中 测试 工作 进度 安排 以 及 独立 测试 进度 安排 进 
行 全 面 、 细 微 地 管理 。 

从 承担 测试 任务 机 构 看 ， 首 先 需 要 在 测试 计划 中 明确 总 体 进度 安排 。 进 度 当中 应 包括 
重要 的 里 程 碑 ， 通 常 有 : 获得 完整 的 被 测 软件 有 关 资 料 、 测 试 设计 完成 、 测 试用 例 完 成 、 
获得 测试 资源 、 测 试 执行 开始 、 测 试 执行 结束 、 测 试 报告 完成 、 测 试 报告 评审 等 标志 点 。 
不 同 层次 的 进度 管理 设立 的 里 程 碑 也 会 有 所 不 同 ， 上 层 机 构 可 能 只 对 测试 计划 、 测 试 报告 
两 个 节点 进行 管理 。 小 组 一 级 则 要 细 得 多 。 例 如 测试 设计 第 一 稿 完成 讨论 的 时 间 。 无 论 怎 
样 ， 把 获得 测试 资源 ， 建 立 测试 环境 作为 一 个 重要 节点 来 管理 是 非常 有 益 的 。 特 别 是 对 于 
各 类 嵌入 式 软件 测试 来 说 ， 运 行 环 境 有 时 需要 协作 ， 有 时 需要 定制 ， 是 整个 测试 实施 的 
基础 。 

从 开发 机 构 角 度 看 ， 应 在 开发 项 目 计划 中 明确 各 测试 阶段 的 进度 ， 这 应 与 整个 软件 开 
发 过 程 统一 考虑 。 开 发 小 组 需 在 相应 阶段 的 测试 计划 中 明确 具体 的 测试 实施 进度 ， 并 且 和 
单元 编码 完成 、 测 试 计划 评审 通过 等 时 间 对 应 起 来 ， 设 立 的 计划 节点 和 上 一 段 所 述 类 似 。 

从 上 级 管理 机 构 ( 用 户 机 构 来 看 )， 应 检查 开发 机 构 的 测试 计划 安排 。 在 需要 进行 独立 
测试 时 ， 应 将 独立 测试 计划 纳入 整个 研制 计划 中 ， 并 以 测试 任务 书 (或 合同 评审、 测试 
计划 评审 以 及 测试 报告 评审 作为 重要 节点 加 以 管理 。 

在 考虑 计划 时 应 注意 测试 工作 的 特点 ， 注 意 关 键 资源 、 设 备 的 安排 ， 并 考虑 到 可 能 发 
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生 软 件 修改 和 回归 测试 。 特 别 是 采用 独立 测试 方式 时 ， 一 旦 软件 发 生 修改 ， 势 必 形 成 计划 
协调 问题 ， 给 回归 测试 的 开始 和 结束 安排 造成 不 确定 因素 。 计 划 既 要 体现 严肃 性 ， 也 要 有 
一 定 适 应 性 ， 但 计划 的 更 改 应 严格 控制 。 要 做 到 精心 计划 、 严 格 执行 、 调 整 迅速 。 

最 后 ， 对 于 独立 测试 项 目 ， 做 好 开发 机 构 和 测试 机 构 ， 测 试 机 构 和 用 户 〈《 上 级 ) 机 构 
之 间 的 沟通 和 协调 工作 ， 是 使 测试 工作 按 计 划 有 条 不 率 地 开展 的 保证 条 件 。 这 些 协调 工作 
包括 组 织 讨 论 、 咨 询 ， 获 得 测试 中 必要 的 材料 〈 重 要 的 材料 要 切实 做 好 保管 、 保 密 工作 )， 
协调 共享 资源 (如 使 用 开发 机 构 的 运行 环境 或 在 测试 机 构 的 运行 环境 上 修改 软件 ), 组 织 评 
审 等 ， 计 划 部 门 、 质 量 管理 部 门 、 资 料 管理 部 门 需要 思想 重视 ， 工 作 细致 。 

(2) 经 费 、 人 力 管理 

经 费 管理 包括 上 级 机 构 将 测试 费用 纳入 研制 经 费 预 算 ， 严 格 审核 ， 及 时 落实 划拨 。 对 
有 特殊 作用 的 专项 经 费 切实 检查 落实 情况 ， 如 测试 设备 定制 、 购 买 。 管 理 人 员 应 认识 到 测 
试 工作 的 重要 性 和 艰难 性 ， 理 解 具体 工作 中 的 需求 ， 支 持 测 试 机 构 、 开 发 机 构 在 测试 中 的 
投入 。 

对 开发 机 构 而 言 ， 要 避免 “ 重 设计 开发 、 轻 测试 ”的 思想 ， 在 整个 开发 经 费 计划 中 为 
测试 预 留 足够 的 经 费 ， 不 能 造成 “测试 没 支 持 ” 的 状况 ， 挫 伤 测试 人 员 的 积极 性 。 关 键 资 
源 、 设 备 的 投入 要 及 早 计 划 ， 保 证 按时 投入 使 用 ， 并 充分 考虑 由 于 培训 、 熟 悉 、 试 用 形成 
的 提前 量 ， 不 能 明天 要 用 ， 今 天 才 买 回来 ， 造 成 设备 到 位 不 能 用 的 现象 ， 影 响 计划 完成 。 

独立 的 测试 机 构 在 经 费 上 可 能 不 存在 忽略 测试 工作 的 问题 〈 这 也 是 其 客观 作用 之 一 )， 
但 也 有 管理 方面 需 注意 的 地 方 ， 例 如 应 考虑 可 能 的 回归 测试 ， 避 免 留 下 人 员 培 训 、 设 备 维 
护 等 死角 。 

(3) 测试 工具 管理 和 技术 培训 

管理 部 门 应 根据 计划 中 的 测试 工具 及 设备 的 要 求 积极 安排 购置 或 定制 。 测 试 工具 及 设 
备 的 数量 、 状 态 、 忙 闲 情 况 要 心中 有 数 ， 以 便 科学 地 配置 。 大 型 关键 测试 设备 应 有 专人 管 
理 ， 进 行 日 常 维护 和 定期 检查 ， 保 证 其 正常 稳定 的 使 用 性 能 。 由 于 嵌入 式 软件 运行 环境 的 
特殊 性 ， 某 些 测试 设备 可 能 正在 研制 , 因此 要 在 计划 中 统筹 考虑 获得 这 些 测试 设备 的 方式 ， 
是 借用 、 租 用 还 是 购买 等 。 由 于 在 研 设备 (如 飞行 控制 计算 机 〉 的 技术 状态 时 有 改变 ， 设 
备 的 技术 状态 管理 也 要 认真 严格 ， 管 理 部 门 要 主动 和 研制 机 构 沟通 协调 ， 避 免 由 于 测试 设 
备 问题 造成 计划 拖延 或 给 测试 质量 造成 隐患 ， 甚 至 得 出 错误 的 测试 结果 的 情况 。 
测试 工具 以 软件 形式 为 多 。 涉 及 购买 、 保 存 、 防 病毒 、 防 盗版 、 寻 求 技术 支持 等 问题 。 
由 于 软件 工具 的 形式 特点 ， 在 使 用 过 程 中 容易 产生 状态 变化 ， 如 感染 病毒 、 系 统 缺 损 〈 意 
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外 、 无 意 删除 )， 应 注意 检查 软件 工具 状态 ， 特 别 是 测试 执行 人 员 和 测试 负责 人 应 对 此 特别 
关注 。 类 似 地 ， 测 试用 计算 机 也 存在 防毒 问题 。 相 关 工 具 包括 编辑 器 、 编 译 器 、 操 作 系统 、 
数据 库 、 网 络 通信 软件 等 ， 任 何 一 个 环节 的 问题 都 会 妨碍 对 测试 运行 结果 作出 正确 的 判断 。 

有 些 软件 测试 工具 可 能 基于 复杂 的 原理 ， 即 使 是 专业 的 软件 人 员 也 不 能 很 快 地 掌握 和 
使 用 ， 要 对 工具 的 使 用 给 予 正式 训练 ， 这 也 是 一 种 规范 工作 的 形式 。 同 时 也 要 留 给 测试 人 
员 足 够 的 时 间 去 熟悉 设备 。 有 时 对 一 个 具体 项 目 ， 可 能 手工 测试 比 使 用 工具 测试 更 便宜 更 
快 ， 但 要 从 长 远 发 展 及 提高 整体 测试 水 平和 质量 角度 着 眼 ， 使 用 现代 化 工具 是 必由之路 。 
除了 工具 和 设备 使 用 培训 ， 进 行 测试 技术 培训 更 是 必 不 可 少 。 


9.2.4 测试 配置 和 文档 管理 


测试 文档 作为 软件 工程 文档 的 重要 组 成 部 分 要 进行 管理 ， 直 接纳 入 软件 开发 项 目的 配 
置 管理 范畴 。 对 测试 文档 的 变动 更 需 严格 控制 ， 特 别 是 绝对 不 允许 修改 测试 结果 。 测 试 计 
划 和 测试 报告 通常 是 两 条 配置 管理 基线 。 由 于 目前 技术 手段 和 技术 能 力 的 限制 , 测试 设计 、 
测试 用 例 、 测 试 规程 可 能 会 在 测试 中 求 精 ， 也 可 能 在 测试 中 更 改 和 补充 。 这 种 变动 原则 上 
由 测试 项 目 负责 人 批准 即 可 , 负责 配置 管理 和 文档 整理 的 测试 组 人 员 应 负责 所 有 工作 文件 ， 
及 时 清理 状态 ， 并 保存 所 有 修订 记录 ， 在 测试 结束 后 将 文档 正式 文本 整理 出 来 。 一 旦 测试 
说 明 ( 含 设计 、 用 例 、 规 程 》 随 测试 报告 经 过 评审 ， 更 改 就 应 处 于 严格 的 配置 控制 之 下 。 
如 果 回归 测试 等 ， 需 要 补充 或 更 改 测试 文档 〈 含 计划 、 说 明 、 报 告 )， 应 通过 配置 管理 批准 
和 复审 。 类 似 其 他 工程 文件 的 版 本 号 测试 文档 也 应 建立 自己 的 版 本 管理 。 由 于 软件 修改 产 
生 的 废弃 不 用 的 测试 用 例 及 相应 测试 结果 ， 要 在 版 本 描述 中 写 明 ， 不 能 随意 丢弃 测试 用 例 
和 测试 结果 。 再 次 强调 ， 对 测试 完成 后 的 测试 结果 ， 任 何人 无 权 更 改 。 一 定 要 保证 测试 的 
真实 性 和 严肃 性 。 

测试 文档 管理 由 于 涉及 软件 修改 和 回归 测试 ， 还 有 两 方面 的 内 容 需 要 强调 。 一 个 是 问 
题 报 表 制 。 软 件 错误 在 测试 中 发 现 ， 错 误 的 记录 在 软件 测试 中 产生 ， 经 过 更 改 之 后 还 要 进 
行 回归 测试 。 因 此 软件 测试 应 记录 每 一 个 错误 ， 并 跟踪 软件 错误 处 理 ， 对 照 软件 错误 记录 
单 和 软件 更 改 ， 记 录 软 件 错误 的 每 一 个 状态 〈 发 现 一 更 改 一 测试 一 再 更 改 一 再 测试 一 消除 
或 残留 一 结论 )， 加 强 控制 ， 做 到 没有 无 解释 的 错误 ， 没 有 “丢失 ”的 错误 ， 没 有 无 解释 的 
更 改 。 

最 后 是 测试 文档 管理 应 能 较 好 地 支持 回归 测试 。 除 了 文档 内 容 齐 全 ， 记 录 详 细 ， 修 订 
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完备 外 ， 建 立 适当 的 文档 索引 结构 也 很 重要 。 由 于 一 项 完整 的 测试 ， 涉 及 许多 测试 用 例 ， 
测试 结果 ， 错 误 记 录 ， 更 改 记录 ， 加 上 相应 的 测试 设计 、 测 试 项 目 ， 建 立方 便 快捷 的 索引 ， 
可 以 很 快 查 出 某 测试 用 例 及 所 有 相关 信息 ， 也 可 以 由 某 测试 项 目 查 出 全 部 相关 测试 设计 和 
测试 用 例 ， 或 从 错误 记录 中 查 出 相关 测试 用 例 及 修改 记录 、 回 归 测 试 记录 。 这 样 回归 测试 
可 以 很 快 获得 原先 测试 的 有 关 数 据 、 错 误 及 修改 的 有 关 记 录 ， 进 一 步 计算 机 辅助 化 ， 则 可 
建立 自动 回归 测试 机 制 ， 提 高 回归 测试 质量 和 效率 。 


9.3 测试 管理 工具 


详 见 8.4 节 ， 在 此 不 作 重 述 。 
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